视频质量评价指标只是衡量画面质量的工具，单项指标的数值或高或低，都不应是视频工作者的最终目的。微帧一直都以提升画质优化观看体验为主要目标，致力于使用最优的质量评价方式，提供最极致的画质效果。

视频流量在整个互联网流量的占比每年都在高速增长，为降低视频存储成本和数据传输通道的负载，视频压缩标准及算法在不断积极开发和改进。视频质量的评估在其中也起着至关重要的作用，尽管已经发展出了大量视频质量评估方法，但普遍接受度最高、最知名的评价方法还是经典的 PSNR、SSIM 以及 VMAF。

本文将浅谈一下这几类评价方法的概念，并将结合微帧在日常实验中所得的经验，重点聊一聊 PSNR avg.MSE 与 PSNR avg.log，谁更胜一筹？以及 VMAF 的“喜”与“忧”。

PSNR（峰值信噪比）

峰值信号的能量与噪声的平均能量之比，本质的是比较两张图像像素值差异，用途较广，目前仍作为对照其他指标的基线。PSNR 的单位是 dB，数值越大表示失真越小。

$MSE=\frac{1}{mn}\sum\limits_{x=0}^{m-1}{\sum\limits_{y=0}^{n-1}{(I(x,y)-K(x,y))^2}}$

两个m×n单色图像 I 和K， I 为一无噪声的原始图像，K为 I 的噪声近似（例： I 为未压缩的原始图像，K为 I 经过压缩后的图像）

$PSNR=10log_{10}(\frac{MAX^{2}}{MSE})$

其中，MAX是表示图像点颜色的最大数值，如果每个采样点用 8 位表示（例：影像处理），那么就是 255。

PSNR avg.MSE 与 PSNR avg.log，谁更胜一筹？

PSNR avg.MSE：当聚合整个视频的逐帧分数时，首先计算 MSE 的算术平均值，然后取对数。

$PSNR_{avg.MSE}(V,\bar{V}) =10log_{10}\frac{MAX^{2}}{\frac{1}{n}\sum\limits_{i=0}^{n-1}{MSE(V_{(i)},\bar{V}_{(i)})}}$

PSNR avg.log：当聚合整个视频的逐帧分数时，首先计算每帧的 PSNR，然后计算所有视频帧的算术平均值。

$PSNR_{avg.log}(V,\bar{V})=\frac{1}{n}\sum\limits_{i=0}^{n-1}{10log_{10}\frac{MAX^{2}}{MSE(V_{(i)},\bar{V}_{i})}}$

经微帧多次测试表明，相较于 PSNR avg.MSE，PSNR avg.log 具有一定不合理性，其太过“照顾”质量更高的帧，比如 PSNR=99dB 和 PSNR=50dB 的单帧，往往在主观上看不出区别，但通过 PSNR avg.log 的公式计算后，PSNR=99dB 的一帧就会大大拉高最终平均分，在特定序列上容易被 trick。

然而，事实上人眼对于质量越差的帧反而越敏感，所谓一锅老鼠屎坏了一锅粥，当观看视频时突然闪现一帧质量差的画面，人眼会对这一帧记忆更为深刻。相较于 PSNR avg.log，PSNR avg.MSE 就更加关照低质量帧，从这点上更符合主观感受。

SSIM（结构相似性）

一种全参考的图像质量评价指标，分别从亮度、对比度、结构三方面度量图像相似性。SSIM 取值范围为[0,1]，值越大，表示图像失真越小。

$SSIM(x,y)=\frac{(2\mu_{x}\mu_{y}+c_{1})(2\sigma_{xy}+c_{2})}{(\mu_{x}^{2}+\mu_{y}^{2}+c_{1})(\sigma_{x}^{2}+\sigma_{y}^{2}+c_{2})}$

$c_{1}=(k_{1}L)^2,c_{2}=(k_{2}L)^2$

SSIM 在衡量编码主观损失方面有其独特的表现。比如，当 x264 打开 AQ(自适应量化技术，关闭 AQ 时，x264 倾向于对低细节度的平滑区域使用过低码率，AQ 可以更好地把码率分配到各个宏块中)，PSNR 和 VMAF 都会严重掉分，SSIM 却能体现出收益。大量实践表明 AQ 与主观呈正相关，SSIM 在这点上更符合主观感受。

VMAF（视频多评估方法融合）

由 Netflix 推出的视频质量评价工具，用来解决传统指标不能反映多种场景、多种特征的视频情况。该指标是目前互联网视频最主流的客观视频评价指标，适用于衡量大规模环境中流播视频质量的观感。

VMAF 的“喜”与“忧”

“喜” — VMAF 的优势

视频画质增强是目前视频爆发时代的刚需应用，它能够更好的提升用户观看体验，然而质量评估常用指标 PSNR 和 SSIM，虽然简单易算，但却不能完全反应人眼主观感受，更无法评价对原画的增强，VMAF 却可以做到这一点。

【左】PSNR=30.87dB，SSIM=0.8725，VMAF=67.44

【右】PSNR=22.5dB，SSIM=0.9168，VMAF=100

通过对比可以发现右图经过画质增强，能展现更多的细节，小字变得更加清晰，同时 VMAF 也有了较大的提升。

“忧” — VMAF 的不足

① VMAF 值能够被 trick。单纯为了提高 VMAF 值，而增强对比度，实际是不合理的，虽 VMAF 值提高了，但画质却并没有真正提升，本末倒置。

下图为例，右边视频仅在左边视频基础上进行了对比度增强的处理，左边 VMAF 为 67.44，右边 VMAF 为 97，可见经过增强对比度，VMAF 也提升了不少，但当我们查看细节，会发现画质没有得到根本提升，原有的马赛克、噪点依然存在。

② VMAF 在衡量原画损失的能力稍弱，有时不如 SSIM 与 PSNR，甚至适得其反。我们可以做一个简单实验，采用 x264 superfast 对标准测试序列 Johnny 做定码率编码，在关闭 deblock 后（采用了 no-deblock 选项），PSNR 和 SSIM 出现明显损失，VMAF 却取得了增益，如下表所示。（deblock 是视频编码一项成熟已久的技术，用来减轻编码造成的马赛克损伤。）

为了更直观地感受，我们提取实验中的同一码率下的对比帧（下图），可见 no-deblock（右图）的 VMAF 略高于开启 deblock（左图）的 VMAF，但右图却充满了马赛克。因此，关掉 deblock 虽然能提升 VMAF 值，但失真会比较严重。

【左】开启 deblock（deblock），VMAF=82.72

【右】关闭 deblock（no-deblock），VMAF=83.13

VMAF 虽然有令人担忧的硬伤，但是确实有其独到的一面。譬如上方关闭 deblock 的右图，虽然马赛克损伤严重，但是左图整体更模糊一些。此外鉴于 VMAF 能兼顾相对于源的画质增强和画质损伤两部分，在互联网领域使用越来越广泛。

由此可见，在日常评价视频质量时，单看一组指标数据容易产生误差。视频质量评价指标只是衡量画面质量的工具，单项指标的数值或高或低，这都不应是视频工作者的最终目的。微帧一直都以提升画质优化体验为主要目标，倡导大家应当既看 VMAF，也要结合 PSNR 和 SSIM，进行综合评估，以达到最接近人眼主观的测评效果。

视频质量评价 VMAF，为何让人又喜又忧？相关推荐

【音视频技术】视频质量评价 MSU VQMT Netflix vmaf
视频质量评价工具实验文档实验工具采用全参考的两个工具: MSU VQMT NetFlix vmaf 因为普遍使用psnr来做视频质量评价指标,本实验主要进行测试及对比,故只使用psnr作为两个工具的 ...
机器学习帮助WebRTC视频质量评价
本文来自CosMos Software创始人Alex. Gouaillard的博客,他同时为WebRTC.QUIC等标准组织工作.LiveVideoStack对原文进行了摘译. 文 / Alex. G ...
视频质量评价基础与实践
点击上方"LiveVideoStack"关注我们 ▲扫描图中二维码或点击阅读原文▲ 了解音视频技术大会更多信息编者按:视频质量评价作为近些年学6领域比较热门的基础研究,已经逐渐 ...
视频质量评价：挑战与机遇
正文字数:5168 阅读时长:10分钟本文整理自鹏城实验室助理研究员王海强在LiveVideoStack线上分享上的演讲.他通过自身的实践经验,详细讲解了视频质量评价的挑战与机遇. 文 / 王 ...
基于编码应用的主观全景视频质量评价数据库(译)
subjective panoramic video quality assessment database for coding applications IEEE TRANSACTIONS ON ...
[总结]视频质量评价技术零基础学习方法
前段时间略忙,因此一直计划要总结的很多东西都没来得及写,这两天趁着空闲时间写上一篇.以后等时间充裕了再补充一些内容.本文总结一下学习视频质量评价技术的方法.视频质量评价是我研究生阶段主要的工作,包括发 ...
视频质量评价技术零基础学习方法
前段时间略忙,因此一直计划要总结的很多东西都没来得及写,这两天趁着空闲时间写上一篇.以后等时间充裕了再补充一些内容.本文总结一下学习视频质量评价技术的方法.视频质量评价是我研究生阶段主要的工作,包括发 ...
全参考图像和视频质量评价
基于图像/视频质量评估传统的误差敏感性传统的图像感知质量评价方法是基于测量的误差(信号差异)之间的扭曲的图像和参考图像,并试图量化的方式,模拟人的视觉误差的误差敏感性特征.这些方法通常涉及通道分解 ...
【竞赛】视频质量评价竞赛经验记录-2（调研和尝试）
文章目录领域调研挑战分类困难相关工作 2023主流方法我的baseline 提取视频帧提取移动特征训练和测试阶段思考和总结数据集分析总结领域调研从几个质量非常高的知乎参考资料 ...
【竞赛】视频质量评价竞赛经验记录-1（比赛介绍）
文章目录机缘比赛内容机缘偶然看到CVPR2023的关于视频质量质量评价的比赛,刚好和我做的图像美学质量评价方向有些相关,花了点时间参加比赛感受了一下,也将自己以前积累的经验应用和实践了一把,有 ...

视频质量评价 VMAF，为何让人又喜又忧？

PSNR avg.MSE 与 PSNR avg.log，谁更胜一筹？

VMAF 的“喜”与“忧”

“喜” — VMAF 的优势

“忧” — VMAF 的不足

视频质量评价 VMAF，为何让人又喜又忧？相关推荐

最新文章

热门文章