麻省理工学院计算机科学与人工智能实验室（MIT CSAIL）开发的基于机器学习的流媒体系统能更好的适应不同的网络条件，从而提供更加流畅的流媒体传输体验。LiveVideoStack对原文进行了摘译。点击【阅读原文】访问Pensieve官网

文 / Adam Conner-Simons

译 / 金歌

审校 / Alex.Chow

原文：http://news.mit.edu/2017/high-quality-online-video-with-less-rebuffering-pensieve-0814

我们在YouTube上观看视频时常会遇到两件非常令人不悦的事情：视频突然出现了大量马赛克，或者卡住并开始重新缓冲。

这两种情况的出现都是由于特定的算法预先将视频切分成很多小片，并随着你观看的进度进行实时加载。如果你的网速很慢，YouTube可能会将随后几秒视频的分辨率降低，以确保视频观看的流畅性，从而造成马赛克现象（像素化）。如果你试图快进，直接跳到视频尚未加载的部分，那么视频就不得不停下来以便对该部分进行缓冲。

YouTube通过自适应比特率（ABR）算法，旨在为用户提供更加稳定的观看体验。这类算法还节省了带宽：人们通常不会自始至终的观看视频，因此，面对每天10亿小时的视频流量，倘若随时为所有用户缓冲成千上万条长视频，这无疑是一种资源的浪费。

尽管ABR算法总体上解决了这些问题，但用户对视频流观看体验的期待也在不断升高，并且诸如Netflix和YouTube这类网站在视频质量与播放卡顿率之间的折衷依然无法满足用户的需求。

“研究表明，用户会因视频质量过低而放弃观看该段视频，从而导致内容提供商在广告收入方面遭受重大损失，”麻省理工学院Mohammad Alizadeh教授说道， “视频网站必须不断寻求新的创新方案。”

为此，麻省理工学院计算机科学与人工智能实验室（CSAIL）的Alizadeh教授和他的团队开发了“Pensieve”系统。这是一种基于人工智能的系统，通过机器学习的方法，依据网络条件选择不同的算法。与已有系统相比，该系统在提升视频质量的同时，能获得更低的卡顿率。

具体来说，该团队在实验中发现，相比于其他视频流传输方式，Pensieve可以将重缓冲情况降低10%到30％，并且在关键的“体验质量”（QoE）指标方面，用户评分高出了10%到25％。

Pensieve系统也可以根据内容提供商的优先级对算法进行调整。 例如，如果用户正在乘坐地铁并且即将进入无网络区域，YouTube可以选择自动降低比特率，快速加载足够量的视频，以便用户在通过无网络区域时进行观看，而无需进行重缓冲。

“我们的系统非常灵活，可以对任何目标进行优化。”博士研究生Hongzi Mao说道。Hongzi Mao作为第一作者与Alizadeh教授和博士生Ravi Netravali共同撰写了相关论文。“你甚至可以设想，用户能够根据自己对重缓冲和降低分辨率的需求，个性化定制属于自己的流媒体体验。”

自适应比特率算法的工作原理

ABR算法大体上分为两种：第一种是基于网速，算法根据测量出的网络速率对流媒体传输进行调整，第二种是基于缓冲，旨在确保总有一定长度的待观看视频已被提前缓冲。

然而，这两类算法有着共同的弊端，即他们没有同时考虑到网速和缓冲。因此，这些算法所做的码率选择决策通常表现都不够好，需要专业人员手动调整才能适应不同的网络条件。

研究人员也曾试图将两种方案结合起来：卡内基梅隆大学开发出了一种基于“模型预测控制”（MPC）技术的系统，其表现比前文提到的两类算法都更胜一筹。这种系统旨在通过预测用户网络条件随时间变化的方式来对决策进行优化。这是一个很大的改进，但仍然存在着难以对网络速率等因素进行建模的问题。

Alizadeh教授对此的评价是：“对动态的网络进行建模是非常困难的，而采用像MPC这类技术的系统，其最终表现将取决于网络动态模型是否优质。”

Pensieve不需要依赖任何模型以及任何关于网络速率等条件的假设。它利用神经网络实现ABR算法，并在多种不同缓冲情况和网络速率条件下反复进行了全面的测试。

该系统通过奖励和惩罚机制对其算法进行调整。例如，系统将在视频以高分辨率传输并且无缓冲（等待）时获得奖励，而在视频进行重缓冲时遭到惩罚。

“该系统能够自行学习不同策略是如何对其表现造成影响的，并且通过观察过去（已有）的实际表现，更稳健地对其决策方式进行改进。”Hongzi Mao说道。（Hongzi Mao在最新一篇相关论文中担任第一作者。）

像YouTube这样的内容提供商可以根据他们优先考虑的指标来自行定制Pensieve系统的奖罚机制。例如，研究表明，观看者在视频播放的开始阶段更容易接受重缓冲现象，因此算法可以被调整为，对出现缓冲现象的惩罚随着时间的推移而加重。

融合深度学习技术的机器学习

该团队在多种环境中对Pensieve系统进行了测试，包括在咖啡厅中使用Wifi，在街上步行时使用LTE等。实验表明，与MPC相比，Pensieve在达到与其相同的视频分辨率时，缓冲情况减少了10％到30％。

“以前的方案都尝试基于专家的直觉进行控制，”卡内基梅隆大学电气和计算机工程学院的助理教授Vyaz Sekar说道（他没有参与Pensieve系统的研究），“而Pensieve系统则预示着利用新的类‘深度学习’技术的机器学习方法，将有很大希望取得成功。”

Hongzi Mao说，该团队的实验表明，Pensieve即使面对以前从未出现过的情况也能很好地做出应对。

“当我们在利用合成数据对Pensieve进行压测时，该系统依然足以应对真实的网络情况，”Hongzi Mao说道。“这种压测表明，该系统能够很好地对现实世界中的新场景进行推理。”

Alizadeh教授还指出，Pensieve系统只接受了一个月下载量的视频数据的训练。如果团队能够拥有Netflix或YouTube量级的大规模数据，该系统的性能将会有更加显著的提升。他们团队的下一个项目是在VR视频场景下对Pensieve进行测试。

“传输4K分辨率的VR视频往往需要高达每秒数百兆的比特率，目前的网络根本无法支持如此高的比特率，”Alizadeh教授说。“我们很期待Pensieve这样的系统能够为VR视频的传输做出一些贡献。不过这仅仅是Pensieve应用所迈出的第一步。“

Pensieve由国家科学基金会以及高通公司的创新研究奖学金部分资助。

LiveVideoStackCon 2018讲师招募

LiveVideoStackCon 2018是音视频技术领域的综合技术大会，今年是在10月19-20日在北京举行。大会共设立18个专题，预计邀请超过80位技术专家。如果你在某一领域独当一面，欢迎申请成为LiveVideoStackCon 2018的讲师，让你的经验帮到更多人，你可以通过speaker@livevideostack.com提交演讲信息。了解大会更多详情，请扫描图中二维码访问LiveVideoStackCon 2018官网，报名即刻享受7折优惠。