LiveVideoStack采访了三体云实时视频高级工程师李幸原,从无线桌面、远程医疗到互联网直播,李幸原分析了这几种场景下的技术难点。在不可靠的公网上,三体云抛弃了传统的CDN+TCP,构建起全新的通信基础设施。

文 / 李幸原

策划 / LiveVideoStack

LiveVideoStack:李幸原你好,能否向LiveVideoStack的读者介绍下自己,以及目前主要的工作以及关注的技术方向?

李幸原:大家好,我是李幸原,自学校开始接触视频编码算法,之后一直在从事相关的工作,目前在三体云任职,主要负责视频算法以及实时传输方面的工作。

LiveVideoStack:您做过无线桌面、远程医疗、互联网直播产品,这三种业务场景分别对技术(编解码、实时传输等)有哪些挑战?

李幸原:无线桌面共享大约是2014-2015年左右的产品,当时主要的应用场景是在会议室或者是办公室等中小空间里,设计的目标是要在当时主流的桌面(Windows,Mac)和移动系统(iOS,Android)上实现抓屏和编码推流,当时的移动平台在计算能力上支持高清实时编码还是比较吃力的,而产品对于画质和延迟的要求是非常高的,同时在解码端我们也希望在一颗中低端的CPU上实现多路流的并发解码、渲染,为此我们做了大量的工作,从硬件的选型,到算法优化、汇编加速等等。在传输层面,由于产品的场景,以以太网,WIFI为主,相对于公网的情况要简单许多,但是我们也遇到了不少问题,当时正处在一个WIFI 2.4G到5G的交叉口,而2.4G的频段是比较“脏”的,很多时候表现非常感人,也是在这个过程里,我们体会到了TCP的种种不便。

时间到了2016年,全民直播点燃了整个行业,移动平台开始崛起,感谢摩尔定律,这个时候的移动平台已不需要再为编码的计算能力而担心,但是我们发现,复杂的公网一点也不能让人放松半分。特别是观众已经不满足于简单的当一个被动的参与者,于是多人互动直播降临,它对于端端延迟有着极致的要求,而这是传统的直播架构解决不了的问题。为了应对这些问题,我们放弃了传统CDN以及伴随多年的劳模TCP,开始重新建构实时通信基础设施:在传输层它需要实时通讯协议,基于时延的拥塞控制,动态码流,重传,FEC等等;在编解码层,它需要混屏混流,回音消除,抗丢包编码算法等等。

而时至今日,实时通讯已愈发融入到我们的日常生活中,它打破了时间和空间的限制,是解决当今资源集聚问题的一个有效手段,于是我们看到了在线教育和在线医疗的快速成长,而在这种场景下,低延时高质量通讯的需求更为强烈,它直接影响了自身承载的服务的质量,在这里带宽,画质音质,延迟的矛盾会更加突出,此外这些场景往往还伴随着教学,分享,远程控制等的一些特殊业务需求。


LiveVideoStack:你看好实时视频通信技术在哪些场景的应用前景?

李幸原:在上面一个话题里我大致也提到了,教育和医疗,资源分布的问题特别突出,他们又有着庞大的市场,应用前景令人期待。

LiveVideoStack:能否介绍下三体云在实时视频领域有哪些特色技术和产品,未来有哪些发展规划?

李幸原:我们目前主要的产品是实时音视频云服务,通过集成SDK可以快速接入三体云的全球实时通讯网3TRTN,实现高质量低延迟的实时通讯,同时我们还提供一站式直播解决方案。未来我们会继续聚焦在实时通信领域,在编码端结合AI,打造更加智能,高效的实时通信产品。

LiveVideoStack:展望整个多媒体通讯领域,你认为哪些(开源)技术栈将会快速发展?

李幸原:主要还是两个吧,编解码端的FFmpeg以及通讯的WebRTC,在相当长的时间内,这两者的引领地位应该是不会被撼动的。

LIveVideoStack:说说你将在LiveVideoStackCon 2018分享的内容吧。


李幸原:我分享的内容将主要围绕我们是如何打造高质量低延时的实时视频通信,以及在这个过程中我们遇到的一些问题。

李幸原:看好实时音视频在教育与医疗的前景相关推荐

  1. 刘连响:小程序实时音视频在互动场景下的应用

    本文来自腾讯云技术沙龙,本次沙龙主题为在线教育个性化教学技术实践 作者简介:刘连响,一起玩耍科技创始人.2013年起开始研究WebRTC, 对音视频处理. 直播.实时音视频相关技术非常感兴趣,具有多个 ...

  2. 实时音视频助力在线教育风口

    正文字数:6185  阅读时长:9分钟 TRTC(Tencent Realtime Communication)全称是腾讯实时音视频,是在腾讯云上以SDK和REST API的方式提供售卖的云服务.腾讯 ...

  3. 从腾讯实时音视频发家史,看爆发中的 RTC 将何去何从

    作者 | 夕颜 头图 | 下载于视觉中国 出品 | AI 科技大本营(ID:rgznai100) 早在2015年左右,直播和短视频的兴起渗透进普通人的日常生活,人们信息消费的内容已经开始从文字向语音. ...

  4. RTC Meetup | 这可能是年底最大、最有料的实时音视频开发者聚会交流

    活动报名链接:http://gz.huodongxing.com/event/1418096252900 回首2017,从直播.狼人杀到在线抓娃娃,不断迭起的风口让我们看到,实时音视频技术已经不断地应 ...

  5. 实时音视频的超级风口,开发者的机会在哪里?

    2021年初因为Elon Musk"带货"而走红的音频社交App Clubhouse,又以肉眼可见的速度跌落神坛,下载量从2月的960 万/月跌至4月的92万/月.不过在5月,Cl ...

  6. 从0到1 构建实时音视频引擎

    最近几年,实时音视频领域越来越热,今年的疫情更是"火上浇油"了一把.网易智企旗下产品网易云信在实时音视频领域深耕多年,积累了不少实践经验.在本文里,笔者将以烹饪为比喻,深入浅出地将 ...

  7. 直播|实时音视频抗弱网技术揭秘

    直播简介 第3期:实时音视频抗弱网技术揭秘 实时音视频技术的发展,满足了用户广阔的线上使用场景,但在当前网络环境下,给技术提出了更高的要求,如果承载信息的包没有按时到达,就会产生声音断续.音质低等情况 ...

  8. 即构科技:解决行业痛点,以MSDN为基础构建全球实时音视频通信云

    点击上方"LiveVideoStack"关注我们 近日,LiveVideoStack很荣幸地采访到了即构科技RTC后台技术总监--肖潇.在访谈中我们了解到即构科技在构建全球实时音视 ...

  9. LiveVideoStackCon讲师热身分享 ( 十五 ) —— 教育场景下的实时音视频解决方案

    LiveVideoStackCon 2018音视频技术大会是每年的多媒体技术人的盛宴,为了让参会者与大会讲师更多互动交流,我们推出了LiveVideoStackCon讲师热身分享第一季,在每周四晚19 ...

最新文章

  1. php和python哪个学起来简单一点-python和php哪个容易学
  2. 茶香账簿小程序开发进度(1)
  3. 配置.NET程序使用代理进行HTTP请求
  4. 不包含本位置值的累乘数组
  5. 【c++】27.事件驱动、IO复用、sellect、poll、epoll三者的区别
  6. SAP Spartacus里,点击checkbox右边的span文本,不会触发checkbox勾选的原因
  7. 即时聊天IM之二 openfire 整合现有系统用户
  8. VBS编程基础教程 (第5篇)
  9. 今日恐慌与贪婪指数为40 恐慌程度有所上升
  10. leetcode 1446 连续字符
  11. myeclipse中加入jad查看jar源代码
  12. Docker基础-容器操作
  13. 网页实现语音对讲_GB28181实现摄像头语音对讲 - web音频采集调用示例
  14. jackson json的使用
  15. 分享一个简单免费查询你手机注册过的网站的方法/app
  16. jQuery初学笔记一,美元符号$
  17. 大麦网滑块验证码自动识别
  18. hardfault常见原因_stm32 HardFault_Handler调试及问题查找方法
  19. preempt_disable内核禁用抢占
  20. matlab cody学习笔记 day18

热门文章

  1. Android中关于dip和px以及转换的总结
  2. CSS让文字在元素内绝对居中!!!【ie和谷歌】
  3. Silverlight与HTML双向交互
  4. android单独刷入镜像
  5. 数据库连接池的实现及原理
  6. Hql中使用in参数
  7. jQuery页面顶部下拉广告
  8. PV 和 UV IP
  9. css 实现table 隔行变色
  10. ×××S 2012 聚合函数 -- 介绍