谷歌YouTube算法团队：视频质量评价的集成池化方法

点击我爱计算机视觉标星，更快获取CVML新技术

随着移动互联网的发展，视频成为信息消费越来越重要的形式（这从国内外的YouTube、抖音的发展可见一斑），而其中用户贡献内容（UGC）往往占很大比例。

因为每个用户制作水平不同，UGC内容的视频质量是良莠不齐的，视频网站运营商不仅要对视频内容进行审核，对视频的画面质量审核也非常重要。

所以自动化的视频质量评价应运而生。

今天arXiv新出论文《A Comparative Evaluation of Temporal Pooling Methods for Blind Video Quality Assessment》，

来自德克萨斯大学奥斯汀分校和谷歌YouTube算法团队的研究者对这一问题进行了分析，提出了一种集成池化方法，并建立了有效的评估，实验结果证明了方法的有效性。

视频质量评价方法（VQA）

VQA可分为有参考视频的质量评价（常用于对视频进行压缩或处理之后的前后比较）和无参考的质量评价。

很显然，对UGC内容的质量评价是无参考的，说白了这个问题就是对一段视频计算得出一个数值，反应视频的画面质量。

一种很直接的思路是，对每一帧画面进行图像质量评价，得到每一帧的质量分数，然后将这些质量分数综合起来，这个综合的过程，被称为时序池化（Temporal Pooling）。

考虑视频和人眼视觉感知的特点，业界已经出现了很多时序池化方法，包括：

算数平均：

直观、简单，用的也很广泛。

谐波平均：

有效抑制低质量视频帧影响。

几何平均：

可有效反应视频质量分数的中心趋势。

当然还有更复杂的、反应更多视频特点的时序池化方法不再细述，请查看原论文。

谷歌的工程师觉得：运用单个方法往往只能带来一个好处，如果把这些方法集成起来，对最终的视频质量评价肯定更有效（看起来很美好～）。

集成的方法很简单：

选择一种图像帧质量评价方法后，使用多个时序池化方法得到质量分数，然后使用线性回归，把它们结合起来。

实验结果

论文使用了多种图像质量评价方法，在两个大规模数据集KoNViD-1k 、LIVE-VQC上进行了实验，结果如下：

实验中作者选择了三种时序池化方法的结果进行集成，表格中EPooling即为集成池化方法的结果。

可见大多数情况下，EPooling都是最好的或者次好的。

作者指出，该文的集成池化方法只是提出了一个思路，在实际工程中，选用哪种图像质量评价方法、使用哪几种时序池化方法、选择什么回归方法都可以进一步探索。

论文地址：

https://arxiv.org/abs/2002.10651

在我爱计算机视觉公众号后台回复“集成池化”，即可收到论文国内下载地址。

谷歌YouTube算法团队：视频质量评价的集成池化方法相关推荐

CVPR 2023｜淘宝视频质量评价算法被顶会收录
近日,阿里巴巴大淘宝技术题为<MD-VQA: Multi-Dimensional Quality Assessment for UGC Live Videos>-- 适用于无参考视频质量评 ...
图像主观质量评价评分_视频质量评价算法之客观评价的性能指标
前言乱语说完数据集,先给大家结个尾吧(误) 视频质量评估(VQA)第二期来介绍几个评价视频质量评价算法的性能评估指标我发4,没有在套娃...... 简易小目录 SROCC(Spearman r ...
一种H.264高清视频的无参考视频质量评价算法（基于QP和跳过宏块数）
本文记录一种无参考视频质量评价算法.这是我们自己实验室前两年一个师姐做的,算法还是比较准确的,在此记录一下. 注意本算法前提是高清视频.而且是H.264编码方式. 该方法主要使用两个码流里面的参数进行 ...
H.264视频质量评价算法（基于偏最小二乘法回归）
Zhiyuan Shi等人(这是中国人写的,但是我没看见中文论文,厦门大学的)在论文<Research on Quality Assessment Metric Based on H.264/A ...
CVPR 2023｜淘宝视频质量评价算法MD-VQA
关注公众号,发现CV技术之美本文介绍CVPR 2023论文<MD-VQA: Multi-Dimensional Quality Assessment for UGC Live Videos&g ...
3D视频质量评价PQM（Perceptual Quality Metric）算法
该算法由英国萨里大学的P. Joveluro, H. Malekmohamadi, W.A.C Fernando, and A.M. Kondoz等人提出.该论文把2D视频质量评价上的客观评价标准推广 ...
视频质量评价基础与实践
点击上方"LiveVideoStack"关注我们 ▲扫描图中二维码或点击阅读原文▲ 了解音视频技术大会更多信息编者按:视频质量评价作为近些年学6领域比较热门的基础研究,已经逐渐 ...
在线教育音视频质量评价与感知系统
为了探讨用一套客观,完备的评价系统对在线教育的音视频通信质量做出评价,力求做到定量,准确,横向可对比,并基于线上运行的大数据系统,发掘端到端通信平台存在的问题,找到优化方向,提升在线教育的用户体验,V ...
音视频技术：视频质量评价方法简介
视频质量评估(VQA)一直是个很活跃的研究领域,原因其一是业内一直缺少一种统一且准确的评估标准,其二是影响视频质量的因素过多,且包含很多主观因素,难以客观.定量地评价.经过这么多年的研究,已经诞生了非 ...

谷歌YouTube算法团队：视频质量评价的集成池化方法

谷歌YouTube算法团队：视频质量评价的集成池化方法相关推荐

最新文章

热门文章