无参考评估在云信的视频测试实践

导读：在实时音视频领域，如何实现视频的全自动化评估是一个业界共同的难题。无参考（NR）技术不需要关于参考视频的任何信息，无疑是视频全自动化评估的曙光。本篇文章来自网易智企资深测试工程师，主要介绍云信测试组最近在使用的一种视频无参考评估方法，及其自动化应用方案。各渠道文章转载需注明来源及作者。

一、背景介绍

视频质量评估的目的是准确衡量出人眼对于视频内容的感知。源视频在经过采集编码传输解码等模块传输到人眼之后，会不可避免的引入一些压缩失真，严重的时候甚至会有绿屏、花瓶、马赛克等问题。在业界评估视频质量有两种常用方法：视频质量主观评估和视频质量客观评估。

常见的主观实验流程一般如下：

1. 选取有代表性的源视频

2. 添加待衡量的视频处理方案

3. 按照ITU标准设计主观实验

4. 招募志愿者观看视频并打分

5. 收集主观打分并剔除无效数据

6. 数据建模并得出实验结论。

视频质量客观评估通过一些评估标准来量化视频质量，主要分为三种，全参考（FR）、部分参考（RR）、无参考（NR）。

全参考评估比较处理前后的两段视频每个像素的差别。

部分参考评估提取两段视频的一些特性，并依此给予它们评分。

全参考评估和部分参考评估均为有参评估，常见的评估算法有PSNR, SSIM VIF VMAF PEVQ等，需要输入视频和输出视频才能得出评估结果，适用于离线测试。

无参考评估是在没有任何原视频的参考下进行评估，比较适合线上视频评估、视频增强和视频合并等场景。

显然主观评估是一个周期长，费时费力的过程。通过主观打分来验证所有视频质量是不可行的。客观评估通过一些与主观质量评估结果相近的数学模型来量化人眼对于视频内容的感知，可以提升一些评估的效率。

在网易云信的视频类效果评估测试中，包括对编码器优化（H264、X264效果优化）、编码器升级（H264升级到H265，H264升级到VP8）、Qos优化等的测试以主观评估为主，客观评估为辅。在客观评估的方式中，全参考的评估方式比如PSNR、SSIM、VMA等主要用于编码器的优化和升级测试中。当然除了全参考的评估方式，网易云信测试团队也在尝试应用无参考评估到音视频相关的测试中。下面将介绍网易云信最近在使用的一种视频无参考评估方法。

二、Video Quality Indicators简单介绍

Video Quality Indicators 是一款开源的音视频无参考评估方案，提供了视频的卡顿、噪声、横纹、画面缺失、曝光度等无参考分析。在intel开源的QosTestFramework中使用了Video Quality Indicators为其无参考评估的一个方法。Video Quality Indicators（http://vq.kt.agh.edu.pl//metrics.html），支持windows、mac、linux。通过分析yuv文件，来评估视频文件质量。官网提供了多种调用方案，Bash、Python、Matlab等。支持对卡顿、画面缺失、块效应、横纹、躁点、画面闪烁等进行分析。主要支持分析的字段信息如下：

指标	值范围	正常范围	备注
Commercial Black：黑块	0~1	0	1代表有黑块
Blur：模糊度	0~79	0~5	值越大代表越不清晰
Blockiness：块效应	0~3570	0.9~1.01	值越大画面质量越好
Blockloss：画面缺失	0~200	0~5	值越大画面缺失越明显
Noise：噪点	0~30	0~30	值越大画面质量越差
Interlacing：交错横纹	：0~1	0	值越大横纹越明显
Contrast：对比度	0~120	45~55	1代表有黑块
Flicking：闪烁	0~8	0.125左右	值越大图像质量越差
Freezing：卡顿	0、1	0	1表示卡住
Exposure：曝光	0~255	115~125	值越大曝光时间越大

其他字段展示详见：http://vq.kt.agh.edu.pl//metrics.html 下面通过一段视频来展示下 Video Quality Indicators 的分析效果（截取自官网）：

Video Quality Indicators

三、QosService框架设计

Video Quality Indicators提供15种视频相关指标的分析结果，而且Video Quality Indicators分析的是图像，即给出的是帧与帧之间的对比结果，所以一段5分钟的视频，在平均帧率25帧的情况下，Video Quality Indicators会提供7500个数据点。原数据类型多且数据量大，为了方便分析，降低工具使用门槛，提升工具利用率，对Video Quality Indicators提供的无参考分析功能进行了服务化。在服务化过程中，使用了tornado为服务框架，在QosTestFramework的基础上，将分析结果持久化到数据库中，最后使用前端进行分析结果的展示。整体实现架构如下所示：

用户通过输入UID、CID来触发视频文件的分析和分析结果显示。 DL VIDEO：与录制服务器交互下载录制文件到本地 Ffmpeg：转码对应的文件到yuv格式（Video Quality Indicators仅支持分析yuv格式） VQ：Video Quality Indicators对对应的yuv文件进行分析并且将数据持久化到数据库中前端最终呈现：

无参考分析实例：

源视频为：

qosservice

可以看到视频运动的小牛附近画面模糊并且存在部分噪点，使用QosService分析的结果如下：

Blur表示了画面的清晰度，blur数值大于5，说明画面比较模糊，数值越大代表画面越模糊。如图软件的分析结果表示清晰度异常，与实际情况相符

Noise表示画面中存在的噪点，数值越大，表明噪点越多，画面质量越差。Noise大于30，即认为画面的噪点过大。如图软件的分析结果表示噪点异常，与实际情况相符

Blockloss：表示画面中存在的画面缺失，这个视频画面完整度较好，测算出的值与实际情况保持一致

Contrast：表示画面的对比度，这个视频中图像的对比度在肉眼可接受的范围内，测算出的值与实际情况保持一致

Freezing：表示画面的卡顿情况，这个视频中未出现卡顿，测算出的值与实际情况保持一致

四：总结和展望

在实时音视频领域，如何实现视频的全自动化评估是一个业界共同的难题。无参考（NR）技术不需要关于参考视频的任何信息，无疑是视频全自动化评估的曙光。引用下鲁迅先生的名言：其实地上本没有路，走的人多了，也便成了路。致敬下为视频全自动化评估做出努力的业界同胞们。

各渠道文章转载需注明来源及作者。

更多技术干货，欢迎关注vx公众号“网易智慧企业技术+”。系列课程提前看，精品礼物免费得，还可直接对话CTO。

无参考评估在云信的视频测试实践相关推荐

网易技术干货 | 云信Web SDK测试实践
一.项目介绍网易云信于2015年成立,为网易集团下属的内资公司,总部位于杭州.除资深老杭研外,团队核心90%来自硅谷.百度.腾讯.阿里.华为等大型企业/独角兽公司,平均行业经验10年以上,掌握业内领 ...
基于G.1070的视频质量无参考打分集成回顾
一.前言摆在面前的一个问题:视频会议在大规模使用后,如何评估.如何监控线上视频质量? 视频质量的评估方法通常有有参考评估.无参考评估.半参考评估.其中: 有参考评估需要原始视频和经过损伤的有损视频, ...
关于音视频测试的一点建议
作者:罗必达,腾讯音视频实验室质量平台组组长,高级工程师.早年在微软从事移动测试开发,先后参与了 Windows Live Messenger 和 Bing Mobile 两个项目的测试工作.2011 ...
音视频测试测的究竟是什么
作者:罗必达,腾讯音视频实验室质量平台组组长,高级工程师. 我觉得这个问题很重要.很多向我咨询音视频测试方法的同学,也许连这个问题都还没有想清楚(说得太直接,抱歉).其实这不奇怪,说实话我也是最近才开 ...
无参考质量评估在视频增强的进展与应用
无参考质量评估在许多无法取得参考信息的实际系统中应用广泛且十分重要,本文整理自腾讯音视频实验室的高孟平在LiveVideoStackCon 2019上海大会中的分享,详细介绍了腾讯音视频实验室团队如何 ...
视频测试基础知识--视频算法DMOS和PPSNR--视频参考与无参考测试介绍
视频测试基础知识--视频算法DMOS--视频参考与无参考测试介绍测试则从传统的静态.单帧像分析,转换为动态测试.图像质量分析. 虽然单帧像分析可提供信号定时.色深.线条同步化,以及更多有用信息,但压 ...
读“基于机器学习的无参考图像质量评估综述”有感
读"基于机器学习的无参考图像质量评估综述"有感摘要: 无参数图像质量评价(NRIQA)因其广泛的应用需求一直以来都是计算机视觉及其交叉领域的研究热点.回顾近十几年来基于机器学习的 ...
一种H.264高清视频的无参考视频质量评价算法（基于QP和跳过宏块数）
本文记录一种无参考视频质量评价算法.这是我们自己实验室前两年一个师姐做的,算法还是比较准确的,在此记录一下. 注意本算法前提是高清视频.而且是H.264编码方式. 该方法主要使用两个码流里面的参数进行 ...
H.264 无参考视频质量评价方法（使用了基于遗传编程方法的符号回归）
Nicolas Staelens 等人在<Constructing a No-Reference H.264/AVC Bitstream-based Video Quality Metric u ...

无参考评估在云信的视频测试实践

无参考评估在云信的视频测试实践相关推荐

最新文章

热门文章