WebRTC的优势与短板,编解码器的未来是属于FVC还是AV1?FPGA、ASIC、GPU等专用硬件编解码器的应用前景如何?来自网宿科技的投稿对此进行了深度分析,本文也是『2017-2018音视频技术回顾与展望』系列的第二篇,如果您对音视频技术的未来有分析和洞见,欢迎联系 contribute@livevideostack.com。

文 / 网宿CDN事业部

策划 / LiveVideoStack

WebRTC让音视频通信开发变得简单

WebRTC的主要优势在于提供了一整套完备的音视频通信方案,使得音视频通信开发变得简单。

WebRTC提供了完整的端到端处理方案。包括了采集、回声消除、噪声抑制、自动增益控制、编码等近端处理,以及自适应抖动缓冲区、丢包隐藏、解码、播放等远端处理。其中编解码器包含免费高效的OPUS、VP8/9等,音频自适应抖动/丢包隐藏则可以在较高延迟/丢包率下依然保持良好的通话水平。

当然,这个完整的方案并不完美,比如没有服务器实现,比如回声消除在安卓系统上效果不一。做服务器实现时除了信令外,做合流的话还需要处理丢包情况,否则会出现音频断续等问题。总的来说,WebRTC为音视频通信开发者提供了开发简单的入门框架,然而要实现较好的效果,开发者需要做的额外工作并不少。

AV1未来机会巨大

所谓下一代编码器,主要就是H.266/FVC和AV1了。关于这个大家应该是有共识的,即AV1是(专利)免费、开源的,而H.266按惯例则是要收取不菲的专利费的,因此性能差别不是非常大的情况下,毫无疑问大家会拥抱AV1(AV1对比H.265的目标码率节省是30%)。另外考虑到目前移动端流量的高占比以及高复杂度的编解码导致软件实现困难,硬件编解码器的重要性不言而喻,H.265的巨大掣肘之一就是硬件支持不佳。

由于专利费等影响,预期H.266也不能摆脱这个难题。AV1则在标准制定过程中始终将硬件实现考虑进来,并且联合硬件厂商制定并推动AV1的硬件产品化。然而硬件开发的周期预计将以年为单位,再加上终端产品的换代周期以及生态开发的时间,AV1需要数年后才有可能大面积应用。

长远来看,AV1的机会非常大,而目前来说,H.264/5的主导地位不会改变。

专有编解码器并不适合CDN

我们评估了许多硬件转码方案,包括FPGA、ASIC以及GPU。大规模转码对转码系统的要求很苛刻。

首先从性能上来说,由于硬件实现的诸多限制(比如B帧、参考帧数目、运动矢量搜素范围等),大部分硬件编码器(尤其是FPGA/ASIC)的编码效率(即固定码率下的画质)达不到甚至远差于软件编码器,这种情况下我们作为CDN厂商无法应用,不可能在带宽不变的情况下降低客户的画质。此外还往往限制指定的分辨率帧率才可以转。

其次是成本,大规模转码由于有机房的限电问题,对单位功耗的转码能力敏感,而GPU的功耗其实不算低,导致了其对比软编的编码速度提升幅度受限。

最后是集成,ASIC/FPGA大多没有完备的第三方(比如FFmpeg)集成实现,需要额外的开发时间以及成本。GPU虽然相对完善些,但依然需要一定的适配工作,包括性能/平台定制化开发以及如何进行精准的负载检测等。

以上这些限制导致了硬件转码方案目前还不能完全取代软件转码,只能在一些符合要求的特定场景下应用。

LiveVideoStack 2018年春季招聘

LiveVideoStack是专注在音视频、多媒体开发的技术社区,通过传播最新技术探索与应用实践,帮助技术人员成长,解决企业应用场景中的技术难题。如果你有意为音视频、多媒体开发领域发展做出贡献,欢迎成为LiveVideoStack的一员。我们正在招募商务助理,高级编辑,策划编辑,课程经理。

通过job@livevideostack.com联系,或在LiveVideoStack公众号回复『商务助理』,『高级编辑』,『策划编辑』,『课程经理』了解详情。

展望2018:WebRTC和下一代编解码器相关推荐

  1. 展望2018音视频技术:AV1,AI,区块链,WebRTC

    编者按:音视频技术的历史可能要追溯到19世纪末--特斯拉与爱迪生的伟大时代.直到今天,他们的发明依然伴随我们生活的每时每刻.2018年音视频技术将有哪些突破?来自学霸君的资深架构师袁荣喜从编解码器.客 ...

  2. 埃森哲全球“技术展望2018”报告解析(附下载链接)

    <埃森哲技术展望>报告融合了顶尖技术研究团队.行业领袖以及全球数据调研结果,发布未来三年内或将对各行各业产生重大影响的技术趋势判断,作为企业布局新战略的指导(关注公众号,在公众号回复&qu ...

  3. 回顾2017,展望2018

    时光如水,一不小心就从指尖流过.真是不知不觉间2017年就要过去了. 这一年可以说经历了各种各样不同的事情,也有着各种不同的目标,有些已经完成了,有些却遗憾的没有达成. 软考网工就是一个我2017年的 ...

  4. 展望2018:WebRTC大规模商用元年

    历经6年长跑,WebRTC终于在去年迎来了1.0标准(candidate recommendation)的发布,而它也将成为2018年视频通信商业应用场景爆发的主要技术推动力.一站式WebRTC通信技 ...

  5. 展望2018:WebRTC技术现状、应用开发与前景

    2017年,苹果宣布将在iOS 11中支持WebRTC,至此完成了主流PC浏览器.移动端的全覆盖,而其提供了一整套完备的音视频通信方案,这给开发者带来了巨大利好.英特尔协同通信解决方案架构师段先德针对 ...

  6. 展望2018,多媒体开发新趋势

    2018年初的音视频技术生态并不平静,Codec的争夺进入群雄逐鹿的时代,AV1和国产的AVS2对HEVC发起了挑战:WebRTC 1.0版定稿打通了在浏览器.移动端乃至IoT上的多媒体通信:AI.区 ...

  7. 工作展望简短_2018励志句子简短大全 展望2018励志正能量句子最新励志说说

    2018年新年励志语 1.鲜花与美酒作陪,掌声与欢呼同庆:撒下的是汗水,收获的是成功,谱写的是篇章,奋斗的是业绩,虽然小有名气,建功立业再接再厉. 2.有失败也会有成功,有咸淡的泪水当然也少不了甜美的 ...

  8. 展望2018:人工智能为媒体服务赋能

    人工智能为多媒体服务带来了更多.更有价值的新功能,让你的媒体.你的video更加智能化,帮助用户获取更好的体验.微软大中华区创新技术合作事业部 (CSE)资深技术顾问梁建为我们分享了人工智能与媒体服务 ...

  9. 写在毕业之前-回顾2017,展望2018-

    (尊重劳动成果,转载请注明出处:http://blog.csdn.net/qq_25827845/article/details/79636036冷血之心的博客) 生活如此艰难,距离我的2016总结( ...

最新文章

  1. C#调用USER32.DLL的API函数
  2. 关于epoll中的read函数说明
  3. 为什么说学人工智能一定要学Python?
  4. Android GIS开发系列-- 入门季(13)Gdal简单写个shp文件
  5. dell服务器怎么看硬件状态,从DELL 2950和DELL R710看服务器硬件
  6. python方差分析模型的预测结果怎么看_statsmodels中方差分析表结果解析
  7. 漫步线性代数九——求Ax=0和Ax=b
  8. bootstrap文件不能被识别_Spring Boot 配置文件 bootstrap / application 到底有什么区别?...
  9. c语言文件归档,Go语言tar归档文件的读写操作
  10. excel表格打开是乱码怎么办?
  11. 【游戏开发创新】用Unity等比例制作广州地铁,广州加油,早日战胜疫情(Unity | 地铁地图 | 第三人称视角)
  12. 银行排队问题(详解队列)
  13. 【Arduino实验16 步进电机的控制】
  14. 电脑视频怎么录制?好用的电脑录屏方法
  15. 网站规划通识:原型图绘制的一些注意事项
  16. c语言循环结构排序,C语言循环结构 -C语言冒泡排序算法(附带源码)
  17. ESLint配置详解
  18. Servlet设置欢迎页面!
  19. [HGE]-源码分析-11 sound
  20. Server U 的使用

热门文章

  1. Kafka#4:存储设计 分布式设计 源码分析
  2. 惠普再“卖身”,软件业务卖给了这家鼻祖级公司
  3. Linux知识积累(8)卸载安装jdk
  4. 20135337朱荟潼——实验三
  5. 福昕阅读器drm加密解密总结
  6. CentOS Linux防火墙配置及关闭
  7. 大型WEB架构概况(笔记整理)一
  8. 中煤保险 公司举办“虎啸杯”保险知识竞赛活动
  9. 洛谷 - P4390 [BOI2007]Mokia 摩基亚(带修二维数点-四叉线段树/CDQ分治)
  10. 洛谷 - P4012 深海机器人问题(最大费用最大流)