融云「音视频架构实践」技术专场【内含完整PPT】
7 月 31 日到 8 月 1 日，QCon 全球软件开发大会首次落地广州，围绕“数字化”、“云原生”、“国产化”三个关键词展开探讨和分享，并就实时互动技术实践、人工智能前沿应用、Web 3.0 基础设施等热议话题进行深度解析。关注【融云全球互联网通信云】了解更多
QCon 融云技术专场聚焦音视频架构实践，由副董事长兼首席科学家任杰担任出品人，RTC 服务研发中心经理谢旭旦、音视频研发架构师田润军、音频算法工程师沙永涛分别带来“RTC 服务质量可观测保障体系设计”、“RTC 弱网对抗技术分享”、“AI 降噪技术探索与应用”主题分享。
RTC 服务质量可观测保障体系设计
（融云 RTC 服务研发中心经理谢旭旦）
实时音视频数据从发送端经过采集、前处理、编码、发送，接收端对数据进行解码、后处理、渲染，这是 RTC 的一个典型数据处理过程。
这个过程呈线性排布，由此带来的麻烦是，一旦某一环节出现差错，后续所有环节质量都会受到影响，就像一根“水管”，任何一个地方堵了，都会导致水流不畅通。
而在音视频服务过程中，最常见的是以下问题：
影响质量的环节多，场景复杂，问题定位比较困难；
缺少评价手段和统一标准，没法衡量效果；
开发人员和测试人员对质量的理解差异，导致沟通成本高；
传统测试，测试流程长，效率低。
针对这些问题，业内有一些常用的评估指标，以两大类为主：主观指标和客观指标。
主观指标中最具代表性的是 MOS。其优点是准确性高，缺点是实施成本高、可重复性差、无法大批量评估。
所以我们希望用机器代替人工操作，利用数学模型，通过一些评估标准来量化音视频质量。其准确性依赖于评估的数学模型，可重复性高、可大批量评估。
典型客观评估方法主要有两类：全参考和无参考。
无参考比如模糊度、块效应等，优点是只需接收方一方数据；缺点是判断力偏弱，不能定位到系统内外问题，比如最后结果图效果不好，无法判断是源本身不好，还是在处理过程中进了问题。
而全参考比如 PSNR、VMAF 等，具有技术上好操作的优点，可以频繁重复，并且能够精准复现，便于快速定位问题；缺点则是需要双方数据，必须严格比对原图和目标图。
具体到融云的 RTC 服务质量可观测保障体系设计及相关实践结果，欢迎关注【融云全球互联网通信云】后台回复【质量检测】查看完整课件。
RTC 弱网对抗技术分享
（融云音视频研发架构师田润军）
实时互动大潮来袭。RTC 实时音视频技术迅速发展，不断打卡新应用，渗透新场景。
当先进技术为线上场景带来巨大增长的同时，也面临用户越来越高的体验要求，更低延时、更高画质、更加顺畅。
这三个用户体验的影响因素，对应着的也是 RTC 的三大核心指标，即实时性、清晰度、流畅度。
三者之间，往往鱼与熊掌不可兼得。
为了“既要又要”，我们通常需要通过网络传输优化来追求更低延时、更高清晰度和流畅性。
弱网是造成拥塞、丢包、延时抖动等影响用户体验问题的主要因素。弱网对抗技术就是针对这些问题以及其他网络损伤问题的技术解决方案统称。
由于网络环境具有较强复杂性、异构性，上述的弱网问题在不同环境下的严重程度也有很大差异。如何保障用户在复杂网络环境下进行顺畅的沟通，一直是 RTC 领域关注的重点问题。
针对这三大问题的相应解决方案及融云的最佳实践，关注【融云全球互联网通信云】后台回复【弱网对抗】获取完整课件。
AI 降噪技术探索与应用
（融云音频算法工程师沙永涛）
降噪技术发展多年，每个阶段都会有一些典型的算法和重要的技术突破。比如早期的线性滤波法、普减法，后来的统计模型算法、子空间算法。
近些年，基于深度学习的降噪算法得到快速发展，也就是 AI 降噪算法。主要是基于幅度谱的深度学习算法，还有复数谱的深度学习算法，以及后来的基于时域信号的深度学习算法。
传统算法，是由研究者总结噪音规律来建模，继而实施背景噪音处理，主要包括线性滤波法、谱减法、统计模型算法以及子空间算法。
这些算法很难被估计和处理非平稳噪音。因此，我们需要引入 AI 降噪进一步提升降噪性能。
AI 降噪算法将含噪语音经过特征提取输入到训练好的神经网络，得到去噪后的增强语音。其本质是利用神经网络模型学习语音与噪音各自的特性与区别，从而去除噪音保留语音。
AI 降噪主要研究三个方面。
首先是模型 Model，从最早期的 DNN 网络发展到后来的 RNN 网络，再到后来的 CNN 网络、GAN 网络及近期的 Transformer 等，随深度学习模型的发展而发展。
然后是训练目标 Training Objective，总的来说分为两大类：Mask 类和 Mapping 类。
最后是损失函数 Loss Function。
那么 AI 降噪主要有哪些主要类型？传统降噪与 AI 降噪对比实验结果如何？融云在这方面的具体实践效果怎样？关注【融云全球互联网通信云】后台回复【AI降噪】获取完整课件。
融云「音视频架构实践」技术专场【内含完整PPT】相关推荐
- 融云「百幄」之视频会议和直播，让办公桌无限延伸
2020 年,为避免人员流动造成聚集性感染,全世界各地不少企业开始允许员工居家办公,跨地域.跨终端协同办公行业迎来井喷式增长,视频会议 "疫"外爆发.关注[融云 RongCloud ...
- 网易云信亮相 GIAC 全球互联网架构大会，解密新一代音视频架构在元宇宙场景的实践...
7 月 22 日,2022 GIAC 全球互联网架构大会在深圳隆重召开.GIAC 是中国地区规模最大的技术会议之一,专门面向架构师.技术负责人及高端技术从业人员等人群. 作为互联网技术的年度盛会,大会 ...
- 云游戏音视频体验优化实践
点击上方"LiveVideoStack"关注我们 ▲扫描图中二维码或点击阅读原文▲ 了解音视频技术大会更多信息 编者按:从2019年开始,云游戏的热度迅速上升,云游戏平台如雨后春 ...
- 【音视频架构演进：边缘计算与云原生】
在过去的一年中,我们可以看到多媒体特别是音视频技术的能力在严峻的挑战下,为各行各业带来了巨大的变化.疫情过后,又会有哪些多媒体新技术.新实践呈现在大众的视野当中?为行业的发展与应用带来哪些新的趋势与机 ...
- 新一代音视频架构在元宇宙场景的实践
背景简介 元宇宙的发展历程 元宇宙的发展始于 1992 年,大致的发展可以分为 2 个阶段,一个是初始阶段,从 1992 年到 2020 年.第二个是探索阶段,从 2020 至今. 元宇宙热点技术 ...
- 微服务实践 | 焱融云前端微服务架构的设计要点
什么是微服务 微服务是一种开发软件的架构和组织方法,其中软件由通过明确定义的 API 进行通信的小型独立服务组成,这些服务由各个小型独立团队负责,每个服务可被独立部署,服务之间是松耦合的,每个服务仅关 ...
- 一起学（抖音快手）音视频，一篇文章解析「音视频同步」合唱实现，已有1w人看过
作者: 鸿洋 原文链接:https://mp.weixin.qq.com/s/EmS5WfBS61qG4CpKW37PyA 就在上个周末,我们见证了一场全球共唱的音乐盛事,One World Toge ...
- “音”你而来，“视”而可见 腾讯云+社区音视频技术开发实战沙龙圆满结束...
欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文由腾讯云技术沙龙团队发布于腾讯云云+社区 近年来,得益于移动互联网的普及和智能终端设备的广泛应用,短视频.直播.在线教学等音视频通信模式 ...
- “音”你而来，“视”而可见 腾讯云+社区音视频技术开发实战沙龙圆满结束... 1
欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文由腾讯云技术沙龙团队发布于腾讯云云+社区 近年来,得益于移动互联网的普及和智能终端设备的广泛应用,短视频.直播.在线教学等音视频通信模式 ...
- 腾讯高级音视频架构师郭亮：解密互动直播技术
https://www.oschina.net/news/77113/decryption-interactive-broadcast-technology 2016年9月10日,第52期[OSC源创 ...
最新文章
- transition属性值
- python下载后如何使用-如何使用python下载文件？
- RealFormer：把残差转移到Attention矩阵上面去
- esp32 micropython spiffs_spiffs 文件系统在esp32中的应用
- 战斧湖战役之后的5rnm
- [Python] L1-004. 计算摄氏温度-PAT团体程序设计天梯赛GPLT
- Linux的history命令
- 面向服务架构（SOA）和企业服务总线（ESB）
- 同样一个网址，用电信网络和中国移动的手机网络，下载速度相差巨大
- 别人教我学计算机的作文,我学会了电脑作文（通用3篇）
- Spring核心模块及功能汇总
- Android 旋转动画简单实现
- 图表排版设计html,网页的排版(表格篇上)
- 5-7 六度空间 (30分)
- 计算机构成教学反思,计算机教学反思
- 获得淘系商品详情展示
- Android 后台保活，这里有你需要的所有姿势。2019，最新版本。
- 阿里云分布式关系型数据库（DRDS）
- 万事无忧之SEO GOOGLE优化秘诀
- CloudXNS：关于X优化灵敏度的理解