每周一期，纵览音视频技术领域的干货。

新闻投稿：contribute@livevideostack.com。

小提示：链接跳转仅支持公众号相关链接

全域调度：云边协同在视频场景下的探索实践

随着多媒体业务越来越多的涌现，每个业务都有不同的差异性特征。各大视频云厂商遇到的最大挑战是如何打造多媒体分发网络，使用最低成本为多业务提供最优质网络体验。本次分享邀请到了华为云算法专家——杨昌鹏老师，为我们介绍云边协同在视频场景下的探索实践。

5G低延时的误区和机会——从理论到工程落地的数据差异

我们有幸请到虎牙直播的5G首席架构师——林正显老师，为我们介绍5G低延时的误区和机会。本文从介绍5G低延时原理开始，一步步解开大众对5G低延时的5个误区，最后分享了虎牙直播在建设低延时确定性网络技术的想法以及5G在其他场景的应用。

“保持耐心”，永远从用户角度出发— 专访阿里巴巴淘系技术内容中台负责人吴桂林(梁舒)

互联网电商的出现为人们的生活带来了很大便捷，随着媒体化的趋势和发展，更多电商相关如直播、短视频等内容形式纷纷涌现，带来的是更高的技术要求与挑战。

FaceTime 终于接入WebRTC - 实施深度探讨

在今年的全球开发者大会(WWDC)主题演讲中，苹果宣布可以在网页浏览器中使用FaceTime, Android和Windows用户也可以使用。距离我们上次看到有关FaceTime的信息已经过去六年了(那时FaceTime没有接入WebRTC)，所以是时候更新了。

https://webrtchacks.com/facetime-finally-faces-webrtc-implementation-deep-dive/

你会在你的WebRTC 应用程序中使用哪种视频编解码器呢？

当为WebRTC应用程序来选择正确的视频编解码器已经成为了一件非常棘手的事儿时...你是应该使用VP8? H.264? VP9? 还是 AV1? 或者 HEVC呢？

OTA：目标检测中的最优传输分配

该论文主要是关于目标检测中的标签分配问题，作者创新性地从全局的角度重新审视了该问题，并提出将标签分配问题看成是一个最优运输问题。要知道最优传输问题是当前最优化理论和GAN理论研究领域中的一个很火的研究课题。论文的实验效果俱佳，而且作者还提供了相应的源码。

WebRTC 传输安全机制第二话：深入显出 SRTP 协议

通过 DTLS 协商后，RTC 通信的双方完成 MasterKey 和 MasterSalt 的协商。接下来，我们继续分析在 WebRTC 中，如何使用交换的密钥，来对 RTP 和 RTCP 进行加密，实现数据的安全传输。

H.264 编解码器：高级视频编码 (AVC) 说明

本文提供了 H.264 编解码器的快速概述：它是什么、它如何执行、它的成本是多少以及它有什么好处。我们将在最后一节介绍有效部署 H.264 编解码器所需了解的内容。

https://www.wowza.com/blog/h264-codec-advanced-video-coding-avc-explained

使用 VideoToolbox 探索低延迟视频编码 

支持低延迟编码已成为视频应用程序开发过程的一个重要方面，在低延迟直播和 RTC 领域有着广泛的应用。本分享主要分享了 VideoToolbox（一个低级框架，提供对硬件编码器和解码器的直接访问， 它提供视频压缩和解压缩服务，以及存储在 CoreVideo 像素缓冲区中的光栅图像格式之间的转换）是如何支持低延迟 H.264 硬件编码，以最大限度地减少端到端延迟并实现新的性能水平，最终实现最佳实时通信和高质量视频播放。

字节跳动亿级视频处理系统高可用架构实践

火山引擎视频中台支撑了火山引擎视频的相关 ToB 业务，同时也支持了字节跳动抖音、西瓜视频等产品的视频生产、下发、播放等全部视频生命周期。本文将向大家全面介绍我们的视频处理系统及在高可用性方面做的一些工作。

VSR-Transformer | 超越BasicVSR，Transformer拿下视频超分

最近，Transformer在CV领域搅翻了天，在各个CV领域打出了半片天。比如，Detection、Segmentation、Classification等等均出现了Transformer这个“搅局者”；甚至Low-level领域也被Transformer占领多个高峰，比如超分、降噪、去雨等等。一直以为视频超分可能还会再等一段时间，哪成想，视频超分领域也成了Transformer的附属地。

Windows Core Audio 音频开发技术指南

在音视频通信处理流程中，音频方面最基本的无外乎就是音频的采集和播放。windows 平台下，有很多音频采集播放的方法。在本篇内容中我们将主要围绕 Core Audio，讲解它的优劣势，以及我们基于它来做 windows 音频采集播放的技术实践。

用AVQT评估视频

本文来自苹果WWDC21开发者大会，苹果公司显示和色彩技术团队成员Pranav介绍了全新的视频质量评价工具AVQT（ Advanced Video Quality Tool）。

遮挡人脸问题 | 详细解读Attention-Based方法解决遮挡人脸识别问题

本文提出了一种新的遮挡人脸识别方法，能够识别不同遮挡区域的人脸。通过将一个ResNet中间特征映射的attentional pooling与一个单独的聚合模块相结合来实现这一点。为了保证attention map的多样性，并处理被遮挡的部分，作者进一步对遮挡Face的常见损失函数进行了调整。实验表明，在多个benchmark下本文方法的性能优于所有baseline。

XMC-GAN：从文本到图像的跨模态对比学习

Google提出了一个跨模态对比学习框架来训练用于文本到图像合成的 GAN 模型，用于研究解决生成的跨模态对比损失问题。

如何在VR购物体验中模拟毛料质感？

近期，国立台湾大学和国立政治大学的科研人员，就提出了一种机械的毛发触感模拟VR手柄，特点是可以模拟不同触感的毛，比如小猫的背部，或是各种毛料材质的枕头等等。此前的一些触觉反馈手柄研究已经可以模拟摘苹果、温度变化、弹力球等场景的触感，而台湾科研人员发布的这项VR体感方案，则旨在模拟更加逼真的毛发感。

Facebook AR/VR战略揭秘：为何自研操作系统、低门槛AR眼镜是未来

在近期于Instagram上举行的问答活动中，Facebook Reality Labs老大Andrew Bosworth连线CEO扎克伯格，回答了网友提出的许多问题，进一步透露关于未来Facebook AR/VR发展策略的更多信息。其中，扎克伯格还透露自己最喜欢玩多人VR射击游戏《Onward》，难怪今年5月Facebook宣布收购该作开发公司Downpour Interactive。

真正的无人驾驶汽车的梦想，为何正在慢慢破灭？

美国汽车工程师学会（SAE）关于自动驾驶分级标准的定义已经成为定义自动驾驶车辆的全球行业参照标准，用以评定自动驾驶技术。其中，L5 级是完全自动化，由无人驾驶系统完成所有的驾驶操作。一些专家认为这将需要十年甚至更长的时间，而另一些专家则认为 L5 级的自动驾驶永远不会实现。

你知道A2B技术在新兴汽车应用中有哪些出色的性能吗？

在汽车座舱电子市场，随着汽车制造商努力实现车辆差异化以区别于竞争对手，一个越来越明显的趋势是音频、语音和声学相关应用正在迅速扩张。此外，随着普通消费者对技术越来越了解，其对驾驶体验和个人与车辆交互水平的期望也在大幅提高。家庭影院质量的音响系统已成为所有价位车辆的寻常配置，现在还出现了复杂的语音免提(HF)和车内通信(ICC)系统。

活动推荐

《ECUG Meetup 第 1 期丨2021 音视频技术最佳实践·杭州站》

为满足各行业、多场景的需求，由 ECUG x 七牛云主办的「ECUG Meetup 第 1 期 · 杭州站」，将从业务场景驱动，带你吃透音视频技术架构、应对真实业务场景的挑战。

点击即可报名参会，更有机会领取官方周边 & 参与抽奖：http://nxw.so/5Y0jX

《聊聊字节跳动亿级 DAU 背后的音视频技术最佳实践》

6 月 26 日，火山引擎开发者社区将举办第三期 Meetup，将和大家一起聊聊亿级 DAU 短视频产品背后的音视频、直播、点播、RTC 等最佳技术实践，探讨如何打造极致的音视频用户体验，揭秘支撑抖音和西瓜等现象级产品背后的秘密“武器”。

点击链接，即可报名参与：https://www.bagevent.com/event/sales/lvsedm

插图源自Pexels