视频算法分析介绍PSNR、NIQE、VMAF、MS-SSIM, SSIM and DMOS、JND

需要对人的感知视频和音频质量进行分析。有两种方法可以做到：

1.对有问题/困难的流进行深入分析，判断感知到的视频或音频质量
2.进行长时间测试，在数小时、数天甚至数周的测试运行中搜索质量下降/恶化的原因。

视频质量分析是一个主观的概念。最精确的质量测量方法是收集人类观察者并要求他们对质量进行判断。这是一个很有意义的和潜在的不一致的方法，因为需要对人类观察者进行判断，以确保他们的视力是好的，身体状况良好，没有色盲等等。最后，为每项测试计算一个平均得分值（mos）。有关设置主观测试的详细信息，请参阅建议ITU-R BT.500-13-电视图像质量主观评估方法，根据TU-R BT500.13或TU-T 913建议，已经开发了许多算法，通过与正确生成的主观数据相关，以精确的方式估计人类感知的视频质量。

算法分为三类：
1.全参考算法：比较处理序列和参考序列。
2.无参考算法：仅分析处理过的视频序列。
3.简化参考算法：从参考视频中提取特定信息，并在分析处理后的视频时使用。

Clear View全参考评分方法：
1. $\triangle$ EITP：提供一个目标评估，以确定给定程序的两个版本之间是否可以看到两种颜色之间的差异。
2.VMAF:Video Multime Assessment Fusion是为流式视频服务的质量评估量身定制的。
3.MS-SSIM/DMOS:MS-SSIM和DMOS两种尺度上的多尺度结构相似性图像质量评估，其中DMOS是参考视频和处理视
频的平均意见得分之间的差异。
4.JND：将人类观察者聚集在一起并直到至少有一个人认为经过处理的视频至少与参考视频一样好为止（只是明显的差异）
5.PSNR：峰值信噪比，信号最大可能功率与影响其表示保真度的畸变噪声功率之比。
6.aFREQ：相对于每个参考音频通道，用于查找严重错误的音频性能指标。aFreq包括音频-视频偏移测量或唇音同步值或程序中选定的通道。

Clear View无参考评分方法：
1.NIQE：自然图像质量评价，全盲，无失真，无参考，图像质量评价指标
2..aPEAK：根据ITU-R BS.1770-3，每个通道的真实峰值音频测量
3.LKFS：根据ITU-R BS.1770-3，每个项目的音频响度测量
4.Spatial：计算视频帧的活动强度，数值越大表示帧中的变化越多。
5.Temporal：计算连续视频帧之间的变化，零表示冻结帧。

视频算法介绍

PSNR(峰值信噪比)是应用最广泛的指标之一。它测量输入和输出之间的平均误差，用db表示.PSNR中峰值信号用比率表示，虽然不执行人类感知视频质量预测，但作为所有ClearView系统中包含的目标指标之一，它确实发挥了重要作用。PSNR提供两个信号之间的绝对差异，对于需要通过/失败指示器的设备性能或网络路径测试非常重要。
NIQE自然图像质量评价是一个完全盲、无失真、无参考、图像质量评价指标。该质量评估师由德克萨斯大学LIVE实验室是一个基于自然场景统计(NSS)的建模框架的意见不知道(OU)和失真不知道(DU)没有参考(NR)图像质量评估(IQA)。结果是第一种NSS驱动的OU-DU IQA模型，它不需要预先暴露在扭曲的图像中，也不需要任何关于人类观点分数的培训。新的NR OU-DU IQA质量指数优于峰值信噪比(PSNR)和非多尺度结构相似性(SSIM)指数，与表现最佳的NR OA-DA IQA方法具有同等的性能。
VMAF: 这个完全参考指标是由Netilix设计的，并根据最新发布的VMAF版本在ClearView中以其本机规模实现。VMAF非常
接近人类对视频质量的感知，无论是自然视频还是动画内容，它都在不同的内容类型中保持一致。通过将各种源内容特性
考虑在内，并将重点放在压缩和图片缩放伪影上，作为流式内容交付版本中的主要降级组件，VM进行了特别调整，以评估
视频流的质量。
MS-SSIM, SSIM and DMOS在多尺度结构相似性图像度量(MS-SSIM)中，以各种分辨率评估图像，结果是这些校准步骤的平均值。即使SSIM正确地校准到环境和数据集，MS-SSIM也能胜过简单的SSIM.Clearview包括由德克萨斯大学开发的MS-SSIM和SSIM，并在其原生尺度上提供MS-SSIM也映射到线性DMOS(差分平均意见得分)。可以对亮度执行测量，并且为颜色通道提供组合分数。
$\triangle$ EITP根据ITU的建议BT.2124， $\triangle$ EITP有助于评估HDR电视图像和信号中颜色差异的潜在可视性。该指标返回一个刚刚显著的差异(JND)评分，该评分提供了对信号处理技术与摄像机原始内容引入的差异的评估。

Sarnoff JND:作为ClearView的视图选项，Saroff-JND视觉模型是视频感知质量的一个非常精确的预测因子。它包括图像质量比(PQR)算法，并以JND(只是显著的差异)为单位进行量化。

音频性能测量
aFREQ 音频频率度量-提供处理音频与参考音频的比较，以发现严重的音频错误，并提供源音频通道与处理
过的音频通道的一般性能比较。
音频/视频校准(唇音同步)是aFREQ中包含的毫秒精确测量。
aPEAK 音频峰值度量和响度测量-测量真实峰值振幅，为每个帧提供一个值，为每个通道提供一个单独的
值。在aPEAK测量中，相对于满标度，LKFS响度有一个选择。LKFS提供了一种测量方法，可以在给定程序中的
所有音频通道上用一秒钟的时间测量峰值响度，并在该时间段内用一个值进行响应。重新计算的值以对数刻度
为基础，0是最大值，-60接近静音。LKFS测量符合ITU-R BS.1770-3建议。

RTM和RTM 4K全参考音频/视频质量监视器，实时测量音频

输入源“参考”和下游“处理”A/V，通过HDSDI至4K或IP至1080p
在实时源上实时测量音频和视频质量通过PSNR或MS-SSIM/DMOS算法
实时测量音频和视频延迟（唇音同步）至毫秒
根据ITU-R BS.1770-3测量音频响度。
测量每一行的数据线完整性，每一行可单独选择
持续向文本日志和RTM管理器报告最小、最大和平均A/V质量和A/V偏移量
如果上述任何一项低于用户设置的降级阈值，则通过音频蜂鸣音记录A/V序列的故障部分和警报。
RTM可以在同一个系统中与ClearView结合使用，以提供两个测试应用程序。

视频算法分析介绍PSNR、NIQE、VMAF、MS-SSIM, SSIM and DMOS、JND相关推荐

【干货】腾讯内部-微信视频号介绍、商业玩法及涨粉方案.pdf（附下载链接）...
大家好,我是文文(微信号:sscbg2020),今天给大家分享一份腾讯内部发布的干货资料:<微信视频号介绍.商业玩法及涨粉方案.pdf>,短视频赛道尤其是要布局视频号的伙伴们别错过了呀,另 ...
刚看了一个视频，介绍了实体店十几种线上线下引流方法
刚看了一个视频,介绍了实体店十几种线上线下引流方法,学习引流方法固然重要. 但是,还要明确的是引流方法要为引流目标服务的,每种方法有它的最佳适用条件. 这时,必然要考虑营销系统闭环,结合实体店的资源( ...
ARM Mali-V VPU视频处理单元介绍 V61 V550 V500
<ARM Mali-V VPU视频处理单元介绍 V61 V550 V500> 作者将狼才鲸日期 2022-01-13 一.名词解释: Mali: 一系列显示GPU及其子模块IP(IP为 ...
几种视频加密算法介绍
几种视频加密算法介绍返回 1. 全部加密(Naive Algorithm) 也就是使用标准加密方法(比如DES)加密整个视频流.将视频比特流同传统的文本数据同样对待,没有利用视频压缩后数据流 ...
VGA、DVI、HDMI等常见视频接口介绍
HDMI 高清晰度多媒体接口(英文:High Definition Multimedia Interface,HDMI)是一种数字化视频/音频接口技术,是适合影像传输的专用型数字化接口,其可同时传送音 ...
转载各种主流音频/视频编码格式介绍
周会,老大发话了:作为一名多媒体软件工程师,总不能对音视频格式.对H263与H264之间区别一点都说不上来吧? 说来惭愧,本人的确对这些都了解不够,课下要多花点时间来补补相关知识了. 以下转自: ht ...
【数字视频技术介绍】| 编码中的时间冗余和空间冗余
公众号回复:666,领取学习资源大礼包这是一份循序渐进的视频技术的介绍,来自 Github 仓库: https://github.com/leandromoreira/digital_video_i ...
2018十大人气视频网站介绍
备注:此博文为转载,原博文地址请点击此处原标题:2018年海外十大人气视频网站介绍前也给大家介绍过很多国外的网站,很多朋友留言说非常有帮助,今天给大家介绍一些海外的视频网站,部分网站需要挂本地VP ...
音视频知识介绍（一）
文章目录一.音视频常见术语二.封装格式 2.1 封装格式介绍 2.2 视频编码介绍 2.3 音频编码介绍三.音视频数据 3.1 视频编码数据 3.2 音频编码数据 3.3 视频像素数据 3.4 ...

视频算法分析介绍PSNR、NIQE、VMAF、MS-SSIM, SSIM and DMOS、JND

视频算法分析介绍PSNR、NIQE、VMAF、MS-SSIM, SSIM and DMOS、JND相关推荐

最新文章

热门文章