欢迎光临新一期的Real编码研习社，本期我们有幸请到了RealNetworks媒体解决方案架构师罗强，想了解低延时的直播方案如何能兼具可扩展性强和经济高效的特点，今天这一期一定不要错过哦~

一、在您看来，低延时的特性为何对视频直播来说至关重要呢？业内所面临的普遍问题有哪些？

很多视频直播应用对低延时有着极高的要求。常见的应用场景包括互动直播和视频聊天等。有了低延时特性，就能够保证主播与观众之间的互动能够与当前视频语境实现同步。在视频聊天中，低延时能够保证对话顺利进行，不会出现令人尴尬的停顿。

为避免由实时流媒体服务器所造成的高运维成本，并为广大观众提供可扩展的流媒体服务，业界早已摈弃了传统的RTSP、RTMP服务器端流媒体逻辑，转而采用了苹果HLS以及MPEG-DASH这样基于HTTP协议的纯客户端逻辑。

不过，由于现居于主流地位的HLS和DASH采用的是基于HTTP的协议，都具有“先分段，后发布，再渐近下载”的特性，因而它们在直播中会出现长时间延迟的问题。在直播中，HLS的延时时长通常为10秒左右或者更长。如何在可扩展且经济高效的前提下提供低延时视频直播服务仍然是流媒体行业一个亟待解决的技术挑战。

二、RealMedia HD在低延时方面具有怎样的优势，并将如何解决以上提到的行业问题呢？

RealNetworks公司是流媒体领域的领军企业，也是实时流媒体传输协议RTSP的发明者。如今，我们公司一如既往地坚持在视频编解码、流媒体传输和计算机视觉技术等领域进行创新。RealNetworks公司推出的视频直播解决方案兼具低延时、运营成本低廉、优异的服务可扩展性、能够大幅节省码率和视频质量更优的特点，而且在这些优点之间达到了完美的平衡。

首先我们在低延时直播中使用的是RealMedia HD 编×××。RealMedia HD是我们公司Codec工程团队通过多年的技术积累而自主研发的RealMedia编×××第11版，具有低复杂度、高编/解码速度、高压缩效率、高视频画质的特点：

■ RealMedia HD 编×××采用PBBP帧间依赖方案，具备短时帧间依赖性的特点，因而适合低延时视频应用。

■ RealMedia HD 是一款在直播编码方面具备速度优势的低计算复杂度编×××。在质量设置相等的情况下，RealMedia HD 编码速度比VP9快4倍，比HEVC快2倍。在采用GPU加速的英特尔第六代CPU上，RealMedia HD 技术能够针对4K视频进行5Mbps超实时编码，其吞吐帧率远超30 fps。而高速编码/解码是实现低延时流媒体传输的基本要求之一。

■ RealMedia HD 编码器的压缩效率很高，与HEVC、VP9和H. 264相比可以节省码率。通过视觉特征主观视频质量评估系统VMAF测量，在视频质量相同的情况下，RealMedia HD 可以比H. 264节省30 %到40 %的码率。

图1. 使用RealMedia HD编码的4K视频在不同码率下的对应画质评估 （以VMAF分数衡量）

我们公司研发的RealMedia HD流媒体解决方案为克服HLS直播长延时对HLS协议进行了改进，在直播延时方面可与RTMP相媲美。由于我们的解决方案还保留了HLS基于HTTP的协议，因而也保留了HLS的诸多优点:

■ 采用无状态的 RealProducer HD转码器和普通的 HTTP 应用服务器就可以直接提供直播服务，因而部署成本和运营成本均较为低廉。

■ 使用HTTP传送的低延时媒体流可以通过CDN传播，从而使流媒体服务具备了可面向大规模受众的可扩展性。

三、这样的优势会对整个行业生态系统带来什么样的影响？能够给我们的直接客户（在线视频网站、服务运营商等）带来哪些价值呢？

前文已经强调过，RealNetworks公司研发的直播解决方案在实现低延时的同时还能为合作伙伴和客户带来如下益处：

■ 易于部署，运营成本低。

■ 可进行扩展，服务大量直播用户。

■ RealMedia HD 编码器压缩效率高，可大幅度节省带宽成本。

■ 为最终用户提供更高画质的流媒体视频。

四、您能否详细介绍一下RealMedia HD是采用怎样的设计来实现低延时流媒体传输的？

让我们来仔细看看那些影响HLS总体直播延时度的各种因素：

■ 帧间依赖性（interframe dependency）所导致的编码延时

■ 为应对峰值编码时间而在代码转换框架中进行的最低限度缓冲

■ HLS分段生成延时

■ HLS分段发现延时

■ 网络延时

■ 为承受网络带宽波动而进行的客户端缓冲

■ 帧间依赖性（interframe dependency）导致的解码延时

■ 为确保流畅播放而进行的渲染缓冲

上述延时因素中，多数是各种类型的直播流媒体方案共有的因素。其中分段生成和分段发现延时是从HLS协议继承而来的。这两个延时因素是HLS直播延时的主要成因。如何消除这两个延时因素一直是我们公司研发的低延时解决方案的重点。

在HLS中，编码的直播媒体帧被累加并打包成TS片段。TS片段文件的URL只有在该TS片段生成完毕之后才能发布到播放列表。生成TS片段的过程会导致与该TS片段持续时间相等的延时时长。在HLS中，服务器无法在新的TS片段生成后立即通知客户端，该TS片段已经可用了。因此，客户端别无选择，只能以特定频率轮询的方式重复加载播放列表。这样一来，在TS片段可用之时和客户端开始下载该TS片段之时之间就存在一个时间差。由此导致的片段发现延时时长是随机的，时长可以从很短到与该TS片段持续时间相同。

为消除上述HLS直播延时因素，我们的低延时流媒体解决方案采用了下列技术：

1)流媒体客户端使用模板来生成媒体片段的URL。客户端媒体流下载器（在完成现有媒体片段的下载后）无需查询新的媒体片段的URL就能下载新的媒体片段，从而避免了为了发现媒体片段被迫轮询播放列表而导致的延时。

2)采用边生成边传输的模式，在RealProducer HD转码器生成直播部分片段的同时，源端的HTTP服务器采用HTTP / 1.1协议中的分块传输编码（Chunked transfer encoding）对该直播部分片段进行传输，这种分块传输部分片段的模式消除了生成媒体片段而导致的延时。

3) RealProducer HD转码器会为源端HTTP服务器预生成未来媒体片段，从而避免了HTTP 404 下载错误。

采用以上机制，我们可以使HLS的直播延时在理论上能与实时流媒体协议RTMP相媲美。

五、根据您在做RealMedia HD低延时直播的经验，您有什么样的建议分享给大家？

要实现低延时，重要的是对整个流媒体传输系统进行优化。

1) 对于上述有关延时的因素与环节，我们需要一一进行测量并将其影响降到最低。

2) 在直播流传输中，客户端不会保留太多的缓冲数据。为了确保播放流畅，编码器必须采用实时编码配置档次，并尽量保持恒定码率，以避免码流数据在短时间内飙升而造成视频卡顿。

3) 一个先进的直播系统应为用户提供最佳的流媒体播放综合体验。好画质、低码率、高流畅度及低延时是相互矛盾的指标，我们必须对流媒体传输系统进行调整，在流畅播放和低延时、高画质与低码率之间实现较好的平衡。

分割线

罗强

RealNetworks媒体解决方案架构师，在设计和开发媒体播放引擎、DRM解决方案和流媒体直播系统方面具有丰富的经验。

瑞哥温馨提示：本文所提及的图表及数据归罗强及RealNetworks所有，未经授权不得转载。

追求卓越永远不会晚，更多精彩即将到来，敬请持续期待！