技术干货 | 网易云信音视频通话产品中的音频效果功能
导读:音频效果器一般是指某些通过改变声音信号来实现某些特殊效果的设备或者算法模块。随着直播、短视频等应用的爆发,娱乐应用中对音频效果器的需求也受到越来越多的关注。
文|陈耀斌
网易智企云信音视频开发专家
音频效果器一般是指某些通过改变声音信号来实现某些特殊效果的设备或者算法模块。常见音频效果器包括变速变调,混响,滤波均衡,调制,振幅/压限,延迟,方位调节,还有一些失真或者非线性类的特殊处理。随着直播、短视频等应用的爆发,娱乐应用中对音频效果器的需求也受到越来越多的关注。
网易云信音视频通话产品最新版本中集成了基于音频效果器的变声美声系列功能,便于娱乐社交用户开发相关应用。下面我们就来简要介绍这些音效功能。
音频效果器进化过程
音频效果器作为专业人士使用的工具历史悠久,多数时间内都只被小范围人群接触。得益于数字处理能力的提升和个人计算设备算力的提高,历史上需要专门硬件或者大型处理设备进行的数字音频处理模块逐渐被通用平台上运行的数字音效处理模块替代。
以混响为例,早期曾经使用混响室录音实现混响效果,其后也曾经出现机械式和模拟/数字电路式。目前常见的软件内集成混响模块的形式出现时间很短。我们常见的混响功能是以下软件界面:
Audition中的房间混响界面
但是历史上他们曾经是这样:
诞生于1957年的第一台平板混响器
也曾经是这样:
一台带混响功能的数字调音台
随着科技的不断进步,体积庞大、价格昂贵并且功能单一的分立式效果器最终演变成单台个人计算设备上集成多个音频效果器并共同使用的形式,制作者可以方便的利用这些效果器尽情展示自己的能力。
常用音频效果器简介
音频效果器的种类很多,同类效果器之中由于实现方法的不同,效果也有细微差别。常用的几个或者说几类效果器主要有均衡、混响、压限、时间拉伸等,下面进行简要介绍。
1. 均衡
均衡器的表现看起来很简单,简要描述就是调整需要调整频带的增益。均衡器的应用场合很多,比如房间声学缺陷调整,设备频响补足,录音中的人声瑕疵修饰,声音美化,播放时候的听感偏好增强等,往往会和其它效果器一起使用。
常见均衡器从实现方式上来说,可以分为频域实现和时域实现。一般频域实现有FFT均衡器,时域可按滤波器类型分为IIR和FIR型,主要差别在于对相位的影响不一样,IIR型的均衡器一般用在音频处理的后级。
软件中的图示均衡器界面
上图所示均衡器的使用和效果非常直观,在频谱所对应的位置直接拖动滑块即可,滑块位置即为均衡器调整指示。
三段式图示均衡器示意图
上图即为一个最简单的图示均衡器的基本架构,增加更多的中间频段控制即可获得更加精细的处理效果,常见的除图中的三段式均衡器外,还有10段,20段,30段等。
2. 混响
混响是一种物理现象,房间中从声源发出的声波能量,在传播过程中由于不断被壁面吸收而逐渐衰减。声波在各方向来回反射,而又逐渐衰减的现象称为室内混响。混响器通过使用技术手段模拟真实世界中的混响效果。
这里要提一下回声这个词。混响和回声是两个极为相似的现象。时间上反射声和直达声连在一起无法分开是混响,可以明显听出来间断是回声。
混响和回声的区别
混响效果的数字实现方式比较多,一般有卷积法、镜像法、射线追踪法、滤波器法等。音频效果器中常用滤波器法,偶见卷积法。镜像法和射线追踪法等多见于理论研究中的声场模拟。
一些传统音频巨头如Sony等都出过采样混响,所谓采样混响全部是真实采样得来的wave文件,可以存放与任何存储器,采样混响的IR都是录音采样得来。在想要获得混响特征的地方,例如小礼堂、音乐厅舞台上安置音箱,座位席中安置立体声话筒,然后播放一系列测试信号,以脉冲信号为主,各种速度的全频段正弦波连续扫描为辅,录得声音,然后经过计算得到IR。用这种采样方法得到的IR,是最真实也是效果最好的一种,对应的缺点就是成本高和灵活性差。
目前常见的数字混响效果器以及软件混响以滤波器类型较多。这类混响器虽然不是来自真实场景,优点是却可以通过改变各种参数来修改脉冲响应,灵活的控制混响效果。Feedback Delay Network (FDN) 混响器也是近年来比较流行的一种结构。
以下是几种经典混响器结构
Schroeder型混响器
Moorer型混响器结构
FeedbackDelay Network (FDN) 混响器
3. 时间尺度变换效果
常见的时间尺度变换算法包括两大类,分别是基于OLA类算法和Phase Vocoder,也有文献提及结合时域和频域特性进行处理,但是没有在产品中确认有成熟应用。从OLA(Overlap and Add)的名字上就可以看出是一类基于时域的算法,这一类中包括SOLA, SOLA-FS, TD-PSOLA, WSOLA等一大堆改进型算法,主要是利用语音的短时平稳特性,在时间域上直接改变某一段时间内声音的长度并保持较好听感的方法。
Phase Vocoder则是在频域上对各个频率成分分别进行插值,从而改变整体时间长度的算法,对瞬态声音处理能力较弱。
时间尺度变换和重采样结合可以较容易的实现变调,并以此为基础,进一步结合其它模块实现各种变声算法。
4. 压限器
压限器是压缩与限制器的简称,它是一种幅度处理算法模块。很多压限器会包括压缩器、限制器、噪声门、放大等单一模块。压缩器的处理可以理解为对超过某一阈值范围的信号幅度进行压缩,限制器是压缩比例非常大的压缩器。噪声门可以对某一阈值以下的声音进行压制。
压限器的听感等。在一些情况下会作为功能性模块使用,例如抑制过大声音,一些情况下也会作为效果器,比如提高整体能量平均值,制作一些饱满的听感等。
网易云信中的音频效果器
网易云信音视频通话最新版本中包含了基于EQ、混响、时域尺度变换等一系列技术的变声美声模块,在最新版本中可以方便快捷的进行调用,受到用户的好评。我们后续还会继续增加新的音频效果,为用户提供更多好玩好用的功能。
作者介绍
陈耀斌,网易智企云信音视频开发专家。曾在松下电器研究开发(中国)有限公司,思科系统(中国)研究开发有限公司等企业从事音频算法研发。主要项目经历包括声传播特性研究,声场预测,广播级音频设备研发,声音分类,麦克风阵列,实时通话系统音频算法的研发和优化。
技术干货 | 网易云信音视频通话产品中的音频效果功能相关推荐
- 技术系列课|网易云信音视频通话2.0产品中的美声/变声功能
随着技术的发展,越来越多的直播和社交类产品开始引入RTC功能.新的业务和生态对原本服务于实时通话.视频会议等场景的RTC PaaS产品提出新的需求,原本关注于通话基础功能的设计只能提供基本的交互,并没 ...
- 技术干货 | 网易云信大规模聊天室系统架构解析
导读:聊天室是一类非常重要的 IM 系统,不同于单聊和群聊,聊天室是一种大规模的实时消息分发系统.本文我们来详细介绍一下网易云信大规模聊天室系统的具体架构以及实践应用案例. 文|曹佳俊 网易云信资深服 ...
- 网易云信-音视频通话 剥离demo+文档基础部分 实现通话功能
由于网易云信的音视频demo,是依据原生js,jq操作dom和ui视图,总觉得不好做本地化二次开发. 所以这里把他demo以及文档中核心的部分取出来,并使用vue开发实现通话. 完整的项目是 小程序端 ...
- 技术实践 | 网易云信视频转码提速之分片转码
导读:视频转码作为媒体处理的核心功能,在对大视频文件转码时,通常需要花费较长时间,为了提升服务质量,我们将重点提升视频转码的速率. 文|罗微恒 网易云信高级服务端开发工程师 在媒体内容传播行业中,视频 ...
- 技术实践 | 网易云信在融合通信场景下的探索和实践之 RTMPGateway 服务架构
导读:随着各个行业的互联网化进程不断演进,融合通信在越来越多的场景中得到应用,例如金融场景的视频面签.医疗场景的远程会诊.企业协作场景的多人视频会议等. 文|本森 网易云信资深音视频服务端开发工程师 ...
- 技术干货 | 为高音质保驾护航 - 通信中的回声消除
导读:语音通信,在当代生活已经成为了大家主要的沟通交流方式,而通话语音的质量也是衡量每个厂商系统好坏的标志之一.这次给大家分享网易云信是如何通过回声消除算法保证通话语音质量的. 文|胡林艳 网易云信音 ...
- 网易云信音视频能力中台,聚焦银行业数字化转型
在银行业数字化转型加速的大背景下,如何利用数字化手段和远程服务模式合规地完成非接触服务成为最棘手的问题,原有的手机银行等线上渠道欠缺更智能的协同和交互手段,无法满足和支撑日新月异的金融互动场景. 针对 ...
- 一对一直播源码开发,如何改善音视频通话过程中的用户体验?
在一对一直播源码开发中,由于是单个用户对话单个用户,所以对音视频通话质量的要求会比较高,那应该如何在开发时改善音视频通话中的用户体验呢? 一.选择播放模式 在一对一直播源码中视频通话过程中出现马赛克或 ...
- 如何在Mac上的 iMovie 剪辑中添加音频效果?
iMovie 剪辑中包括的音频效果可以应用到片段,从而增强影片的声音.那我们如何在Mac上的iMovie 剪辑中添加音频效果呢?快和小编一起来看看详细的图文教程吧! 将音频效果添加到片段 1.在 Ma ...
最新文章
- ICML 2018大奖出炉:伯克利、MIT获最佳论文,复旦大学榜上有名
- 长期股权投资和私募股权投资的区别
- 一份所有中国人都应该听的歌单,你听过几首?
- 监听一个可下拉区域的滚动监听_Flutter 实现一个悬浮的效果
- C语言之文件读写探究(四):fwrite、fread(一次读写一块数据(二进制操作))
- js题集25--编程训练
- 阿里云keepalived的虚拟ip怎么让外网访问_Keepalived双机热备
- 熊猫眼啦!头晕得写不鸟程序啦!来谈谈我已经过大半的大学生活吧
- python给函数设置超时时间已到_在 Linux/Mac 下为Python函数添加超时时间
- STEAM无法打开创意工坊或成就页面
- 电脑裸奔-中木马-QQ被盗-大团圆结局(QQ申诉艰难旅程)
- HALCON 3D 激光三角校准-未完持续
- 门控时钟、使能时钟的实现
- 企业邮箱哪家最优惠?企业邮箱最优惠价格来了
- 大规模定制家具实施ERP的必要性
- 动画讲解—— CSS
- Linux内核分析及内核编程
- 穷举算法——奶牛碑文(cow)
- 噢,我这该死的魅力,国潮新锐品牌「二某某」她来了她来了
- 饥荒mod制作教程--物品(食物)该篇主讲贴图--01
热门文章
- 将笔记本电脑设置成WiFi无线上网共享热点
- 全球与中国彩色冰箱垫市场现状及未来发展趋势(2022)
- python数据抓取之pyquery包
- 波轮普通洗衣机典型部件的识别、原理与检测
- 【已解决】Caused by: java.lang.ClassNotFoundException: com.sun.istack.Pool
- 在浏览器的控制台中读取本机文件
- @Component注解的含义
- 架构师必备,了解分层架构中缓存那点事儿
- 2023什么蓝牙耳机值得入手?值得入手的半入耳蓝牙耳机推荐
- solidworks 装配体缩放