音频质量评价体系那些事
前言
近年来,线上音视频的产品形态和应用场景越来越丰富,疫情更加速了许多行业线下转线上的布局,音视频技术也越来越受到各大厂的重视,Zoom的股价飞升,腾讯、字节、阿里等等巨头的大力投入,令这个赛道的竞争越发激烈。在这个激烈的竞争环境下,所有的赛道玩家都很清楚,好的音视频体验,将是决定产品成功与否的最重要因素之一。在本篇内容中我们将主要围绕音频质量评估的一些重要标准,来讲讲不同评价体系里的标准、内容、相互关联和一些个人见解。
在介绍各种评价标准和算法之前,有一个组织必须要重点介绍,ITU (International Telecommunication Union) 国际电信联盟简称国际电联,ITU是主管信息通信技术事务的联合国机构,旗下有一个专门制定电信标准的分支机构ITU-T(ITU Telecommunication Standardization Sector of ITU)。
01
主观音频质量评价标准:
MOS in ITU-T P.800
说起音频质量的评价,它并不是现在才出现的。早在电话发明之后,如何系统地评价语音质量就成了一个难题。ITU-T 作为通信领域制定标准的权威机构,当然不会坐视不管,于是在1996年8月30日,正式推出了P.800: Methods for subjective determination of transmission quality标准。在这个标准里面有一个重要的指标被提出来,那就是今天被沿用最为广泛的主观评价标准 MOS(Mean Opinion Score)。
有些人可能觉得这个标准好简单,不就是1-5分的打分么?可是事实上并不是,主观的质量评价要想成为可重复使用的评价标准是很难的。不同环境、心情、知识储备、职业、听力范围及灵敏度等等背景的人都可能会对同一个声音给予不同的评分,甚至一个人在不同时间和背景下对于同一段语音质量,也会给予不同的主观评分。所以光有一个MOS评分是远远不够的,在标准里面还推荐了多种可行的测试方案,比如在Listening-opinion tests测试方案中给出了"Absolute Category Rating" (ACR) 。里面规定用短分组的不相关的句子测试,并且这些句子是通过一系列标准测试验证过的,然后在相同的测试方案下,相同的物理条件和传输系统下,来对比测试的结果。这样测试方案就具备较高程度的结果一致性。而这里说的物理条件包含非常的细致,例如测试线材、噪声(底噪;环境噪声)、噪声测量的位置。其中环境噪声还分为(房间噪声、车内噪声等)。除此以外对噪声测量的位置、创建连接、监听、仪器设备设计、对话任务等等都有一些建议。
说白了,这个标准事无巨细地列举了所有可能对主观评分一致性产生影响的因素,用很多不相关意义的短句组,在实验室可以控制的物理条件下,让很多被测试人员在相同环境下做对比测试,再做平均。这样的测试才能达到一致性标准,同时也具备了可行性。
但同时我们也发现,组织这样的一场测试耗时耗力,实在是不适合快速的质量验证。尽管如此,它对于今天依然非常有意义,比如现在很多产品在通话结束后给用户的质量反馈打分,1星到5星,虽然不能控制在相同的物理条件下,但是大量的用户主观评分概率分布依然可以相对客观地评价产品的主观质量。
最后,主观音频质量评价标准除了给出MOS 这个有意义的评分标准,还给出了两个标准MOSle 和 MOSlp,也非常有参考意义。
-MOSle-
-MOSlp-
02
客观有参考音频质量评价标准:
PESQ in P.862 & POLQA in P.863
主观评价体系建立后,由于其实现起来的高成本和低效率,并不适合企业快速验证系统的音频质量,所以客观标准的需求日益扩大。这个时候需要一个可以近似人类听觉体验的客观评价体系,并且能做到尽量稳定。
做一个成熟稳定高度逼近人类听觉体验的评价标准非常难,所以客观标准的制定最初是建立在一套有参考信号的评价体系之上的。也就是评价的时候,同时需要待测信号和参考信号(不经过待测系统只经过测试设备环境回环的信号)。相较于无参考评价方案,有参考的客观评价方案更容易做得贴近主观评价体系。
但即使是有参考估计,想要全面模拟主观评价也还是比较难的,随着算法不断发展和完善,评价从只考虑部分指标到考虑更多指标发展。比如在介绍PESQ之前,也有一些客观评价标准被推出,评价有一些局限性,如:perceptual speech quality measure (PSQM) 和 perceptual analysis measurement system (PAMS)。前者只能用于音频编码器的评估,而后者只能评估有限范围内的失真。
PESQ
ITU-T 在2001年02月发布的P.862里推出了一个新的方法:Perceptual evaluation of speech quality (PESQ),也是在一段时间内,业界广泛使用的方案。标准里这么说道:这是多年积累的结果,是一款不仅适用于音频编码器,同时也适合end-to-end 测试音频质量的评估方法。我们从下面几个角度谈一谈PESQ吧。
1、PESQ的测试方案
PESQ 如标准的描述,可以进行端到端的音频质量测试,把参考信号(Reference speech) line in 传入发送端(如下图是一个电话),经过电话网络到接收端,再Line out传出和直接回环(图里叫做参考路径Reference path)的参考信号传入PESQ 算法进行,有参考评估,最后生成PESQ score。
需要注意的是,参考信号并非是随意选取的,标准对于输入的参考信号有较严格的限制,比如长度:8-30s 的长度,里面的每个短句不能低于3.2s,活动语音的占比40%到80%,语音音量:参考ITU-T P.56 在-30dBov 同时避免溢出,等等。
2、PESQ 算法流程
标准在PESQ算里面针对多个部分做了详细的阐述,这里给出一个简单的PESQ的算法框架如下图:
简单来说:Time Alignment 把输入的活动语音段检测出来,再进行delay 计算和语音分段,这个算法是可以兼容可变delay的。然后PESQ Algorithm 在计算对齐的参考信号和待测信号,得到它们的频域的信号进行一些补偿后,转到响度域再根据心理声学模型,对比两个信号的感知差异。最后将差异mapping 到 类似MOS分值的PESQ score,取值范围在 -0.5 到 4.5。
3、PESQ 的有限性
1)只适用于窄带和宽带(2005年P.862.2 Wide-band Extension)音频。
2) 只用于测量one-way 语音的失真和噪声。对于响度降低、时延、回声等等方面和双边交互相关的,都无法评测。
3) 多数情况下评分比较符合主观标准结果,但部分场景下和主观测试结果有一些差距。评分结果的分布的聚合性一般。
标准里面也说明了,PESQ是不能代替主观测试的,它只是一个具备参考意义的近似主观体验客观评价标准。
POLQA
随着时间的发展,更多的适用范围、更广泛的标准也一一涌现,如2004年P.563 的3SQM,还有一个就是一直沿用到今天、在有参考客观音频质量评价领域最新也是最大范围被应用的在P.863里出现POLQA标准。
1、POLQA 测试方案与算法框架
POLQA的测试方案和PESQ 一样,也用了参考信号来做对比,测试方案差不多。算法大框架也差距不大,但是用了全新的 Time Alignment算法和全新的感知模型。这里就不展开了,给出一个核心模型流程图(没有包括 Time Alignment 和 Perceptual Model):
2、重点说一下 POLQA 和 PESQ 的区别
这里转载Pomy在一份报告里面描写关于两个算法的一些地方的区别:
PESQ |
POLQA |
|
Acoustic measurements |
× Not easy |
√ |
Correct scoring with high background noise |
× |
√ |
AMR vs EVRC codec comparison |
× |
√ |
Representative scoring of reference signals |
× |
√ |
Effects of speech level in samples |
× |
√ |
Narrowband(300Hz – 3400Hz) |
√ |
√ |
Wideband(100Hz-7000Hz) |
√ |
√ Use SWB |
Superwideband,SWB(50Hz-14000Hz) |
× |
√ |
Linear Frequency distortion sensitivity |
× |
√ |
除了两个算法外,他还专门组织了"Absolute Category Rating" (ACR)测试,测试了Human、 POLQA、PESQ 之间的区别,如下图:
总的来说,POLQA不仅支持全频带评测,还增加了对响度变化的评估,全新的感知模型评价体系使得POLQA和主观评测的结果更加接近。
03
客观无参考音频质量评价标准:
E-model in G.107
前面介绍了主观音频质量评测标准和客观有参考音频质量评测标准,特别是当有了客观的有参考音频质量评价标准,企业可以很方便地测试系统的端到端音频质量,虽然不能完全取代主观测试,可随着标准的更新,客观有参考评价标准会越来越接近主观评价且越来越稳定。但是很多企业也发现,即使有端到端的客观有参考评价标准,依然很难解决线上音频质量的实时监控。有没有一种指标可以在不需要参考信号的情况下,在某种程度上反应出主观音频质量的变化呢?
ITU-T 在2015年6月发布了 G.107,给出了一种计算模型专门评估端到端传输的音频质量评估,其算法模型叫 E-model。
1、E-model 的基本算法结构和框架
E-model是在一个评估音频设备损伤叫做”Voice Transmission Quality from Mouth to Ear”的模型基础上衍生出来的。E-model会把通话中发送端和接收端当成嘴到耳朵的评估,把通话分成发送端和接收端,然后把能考虑到一些可以量化的、对于声音质量有影响的因素都参考进来。如下图:
其中OLR:Overall Loudness Rating,SLR:Receive Loudness Rating, RLR:Receive Loudness Rating。E-model的传输损伤等级因子R的公式为:
其中:R0:基础信号比
IS:传输时产生的同步损伤,由量化,连接等因素影响
ID:传输的时延损伤
Ie-eff:设备损伤系数
A:优势系数(和其他所有的传输参数都没有关系的)
每个数值的计算都比较复杂,且参数较多,这里就不一一展开了。
2、E-model的结果R 如何导出MOS
3、关于E-model的一些感想
G.107给我们带来一套复杂的、完善度也相对较高的评估模型E-model,这个模型在没有参考信号的情况下,把对于语音质量有影响的很多因子都考虑进去了。先不说能不能完全靠近主观测试的评价体系,对于企业的线上实时音频质量监控也具备很大的指导意义。另外也有人提供了一些改良方案,例如加入网络jitter的系数对评价结果产生影响,当然是不是合适也需要在实践中验证了。
以上介绍了一个音频质量主观评价标准以及两个音频质量客观有参考评估标准,以及一个音频质量客观无参考的评价标准。值得再次申明的是,客观评价标准是不能代替主观标准的。虽然随着算法的提升,它越来越接近主观评价,但在实际问题的优化中,主观的听感是不能代替的。当主观听感感受和客观指标产生了差异,既不能盲目相信少数人的少次测试听感结果,也不用盲目迷信客观标准,陷入了削足适履局面。
技术交流,欢迎加我微信:ezglumes ,拉你入技术交流群。
推荐阅读:
音视频面试基础题
OpenGL ES 学习资源分享
开通专辑 | 细数那些年写过的技术文章专辑
NDK 学习进阶免费视频来了
推荐几个堪称教科书级别的 Android 音视频入门项目
觉得不错,点个在看呗~
音频质量评价体系那些事相关推荐
- 【音视频专题】音频质量评估方法那些事
今天参加了声网 Agora 的<实时语音质量监控系统的过去.现在与未来>,结合之前工作时音频处理的一些经验,分享一些自己的理解. 音频(泛指人能听到的自然界的所有声音,人耳能听到声音的频谱 ...
- RTC 音频质量评价和保障
导读:随着 5G 网络的普及以及疫情带来的影响,人们对实时音视频技术的应用场景会越来越多,包括会议.连麦.音视频通话.在线教育.远程医疗等,这些实时互动场景对 RTC 音频的质量提出了越来越高的要求. ...
- 音频编解码器以50%的功耗提供两倍的音频质量
音频编解码器以50%的功耗提供两倍的音频质量 Audio codecs deliver twice the audio quality at 50% less power Dialog的DA740x音 ...
- 浅谈语音质量保障:如何测试 RTC 中的音频质量?
简介:日常音视频开会中我们或多或少会遭遇这些场景:"喂喂喂,可以听到我说话吗?我听你的声音断断续续的","咦,我怎么可以听到回声?","太吵啦,我听不 ...
- Instagram:如何提升音乐音频质量?
Instagram始终以高质量的体验为目标开发和优化应用程序,而优化Instagram体验的其中一种方式就是提高音频质量. 文 / Chris Hsu 译 / 蒋默邱泽 原文 https://inst ...
- 详解优酷视频质量评价体系
万字长文 | 详解优酷视频质量评价体系 分享嘉宾|李静博士,阿里巴巴文娱集团资深算法专家,阿里巴巴大文娱摩酷实验室视频体验与质量团队负责人 整理出品|AICUG人工智能社区 本文地址:https:// ...
- 视频分辨率和音频质量_高分辨率音频的声音是否比CD质量好?
视频分辨率和音频质量 在回应最近的一篇文章时,一位读者写道: 仍然需要压缩数据吗? 据我所知,在双盲测试中,没有人能比CD品质的未压缩音频更好地识别任何东西. MPEG添加了可以通过实践识别的功能. ...
- 测试音频质量的软件,音频质量PESQ得分评估原理与步骤
在实时音视频领域,我们经常需要评估音频质量.而语音质量评价是一个与语音学.语言学.信号处理.心理学.生理学等学科有密切联系的领域,因此语音质量评价是一个极其复杂的问题.语音质量评价方法从评价主体上可分 ...
- 读论文《对 感知音频质量 的 客观评估 综述---对其 应用领域依赖性 的评估》
摘要 1.在过去几十年间,一些使用计算机去评测感知音频质量的方法被开发出来.这些客观评估方法通常是为特定应用领域设计和服务的. (背景:出现一些客观评估方法.) 2.由于这些方法很方便,他们常常被用于 ...
最新文章
- 合肥云暨移动应用孵化基地全面运营,服务企业转型升级
- python怎么读文件里的某一行-python读取txt文件并取其某一列数据的示例
- 用git提交代码时,由于进程加锁,突然崩溃,未来得及解锁,导致其他进程访问不了...
- 光复用技术中三种重要技术_传感器在机器人技术研究发展历程中扮演着重要角色...
- 【Docker从入门到精通_1】Ubuntu16.04版本安装与配置
- JAVA-WBE——spring security 3.2 认证-学习笔记2
- Java位操作:如何将long类型的指定位设置为0或1?How to set/unset a bit at specific position of a long?
- 微信小程序开发——点击按钮退出小程序的实现
- linux 改变文件夹属性,技术|在Linux中用chattr和lsattr命令管理文件和目录属性
- 爱立信首席执行官卫翰思离职 投资者已失去耐性
- php title 乱码,PHP发送UTF-8编码中文邮件标题乱码的解决
- Python3 有序字典—OrderedDict()
- python安装教程-Python 3.5安装教程
- 计算机应用基础任务式教程 素材,计算机应用基础任务化教程教学大纲
- ImageJ的Macro语言实例教程
- 台式计算机如何双屏显示,台式计算机如何同时连接显示器和电视双屏显示器?...
- 感情箴言滴水藏海(二)
- ASP.NET+Sql Server 2008 +highchart控件从数据库中获取数据生成饼状图柱状图
- Vue 源码之 mixin 原理
- java 匹配任意字符_正则表达式匹配任意字符(包括换行符)