多视点视频编码快速模式选择算法综述

郑元帅

( 电子科技大学通信与信息工程学院，四川成都 611731)

摘 要: 多视点视频编码( Multiview Video Coding: MVC)的复杂度、数据传输带宽和存储空间随视频数量增加而增大，因此很有必要研究具有低复杂度，高压缩 效率的算法以利于多视点视频的实时应用­­­­_­^【4】。现状是，多层循环的多参考帧选择算法和运动估计搜索等算法提高了模式选择精度，但导致多视点视频编码复杂度急剧增加，对此，国内诸多研究者设计了多种可以快速选择模式的算法。我针对此主题，对近四年国内诸多期刊文献上发表的有关快速模式选择的算法进行了学习，并对其进行了个人理解的原理阐述。

关键词: 多视点视频编码; 帧间预测; 模式选择; 率失真代价

中图分类号: TN919.8  文献标识码: A

1     引言

由视频编码专家组(Video Coding Experts Group，VCEG) 和运动图像专家组(Motion Picture Experts Group，MPEG)组成的联合视频组(Joint Video Team，JVT)提出了H.264的扩展标准———多视点视频编码标准，在JVT第 27 次会议上， 公布了标准的多视点视频编码软件(Joint Multi-view Video Coding，JMVC)，作为多视点视频编码的研究平台。在 JMVC中，除了具有同一视点的运动估计外，还引入了视点间的视差估计以消除视点间的冗余。此外，为获得更高的图像质量， JMVC采用分层B帧(Hierarchical B Pictures，HBP)结构、全搜索算法和率失真优化函数等，这些方法可获得较高的编码图像质量，但同时也引入了极其高的计算复杂度，影响了其编码速度，阻碍了多视点视频的应用­­­^【3】。

因此，为了提高其编码速度，国内的诸多研究者对减少计算复杂度提出了多种算法。一般来说，有四种总的算法类型：（1）通过确定一个阈值进行模式选择 的提前终止，以达到节省编码时间的目的。（2）通过确定运动估计的参考方向或者加速运动估计和视差估计的搜索实现计算量的降低。（3）通过对当前宏块和相 邻视角处于同一位置宏块进行相似性分析来实现复杂度的减少。（4）通过联合运

用参考方向、搜索范围和宏块复杂度达到编码时间的减少。

根据了解，许多算法主要是通过模式选择的提前终止来达到节省编码时间的，其他的方法也相应有相对成熟的算法，甚至可以达到平均降低百分之七十到八十以上复杂度的效果，下面将对这些算法进行一个汇总和综述。

2     利用统计分析和信息重用技术的优化算法

2.1           算法思想

这种算法主要从模式决策的角度来减少编码复杂度。之所以选择模式决策角度，是因为模式决策主要由全模式搜索、两层循环的多参考帧选择算法和采用EPZS 搜索算法运动估计三部分组成，占据总编码复杂度90%以上。因此，从模式决策方面减少编码复杂度存在比较大的空间．

用统计分析的方法了解各编码模式的特点，结合信息重用技术和运动估计快速搜索算法，进行模式决策，减少编码复杂度。

2.2           具体实现思路：

多视点视频编码以宏块为单位进行多模式编码，编码模式可分为：直接编码模式、帧间编码模式和帧内编码模式^【1】。而用统计分析的方法就可以得到各编码模式比例的差别，根据视频的特征，不同编码模式被选中的概率不同，比如Skip编码模式被选中的概率一般远大于Inter8*8的编码模式，就可以事先确定几个命中概率大的编码模式，然后从中选择出最佳模式。而且Skip，Direct这几个出现概率大的编码模式的运算量要远小于其他编码模式，因为Skip模式不必进行运动估计或者时差估计，无需进行时间预测或视点间预测，而其他帧间模式都要以时间或者视点间的已编码帧为参考进行运动估计或时差估计，从而耗费大量时间。从这个角度上就可以更大的节省编码时间。

以信息重用技术的多参考帧选择算法提出的模式决策快速算法，是根据模式尺寸块大小和编码特点把编码模式划分为具体的三个集合，在同一个集合中通过使用大尺寸块的最佳参考帧索引和最佳编码方向代替小尺寸块以减少多参考帧循环搜索次数

整个算法是从两个方面综合整体上减少编码复杂度的，这也为我们以后的想法提供的方向。

3     利用宏块模式特征分类的优化算法

3.1           算法思想

这种算法也是基于提前终止模式选择来减少编码复杂度的，它的着眼点在于充分利用空间、时间和视点间的相关性信息，考虑不同位置宏块对当前宏块影响程度的不同。

首先研究者提出了自定义的模式复杂度的概念，用来确定当前宏块的模式特征，从而将宏块分成三个模式类型：简单模式，中等模式和复杂模式。分类之后，根据每种模式的检查规则，就可以对不必要的模式选择过程提前终止。

3.2           具体实现思路

研究者提出模式复杂度的定义来自于帧内、帧间及视点之间，用以确定当前宏块所处的区域类型，它反映了运动和纹理信息、预测模式等。定义如下^【2】：

其中:N是宏块总数；α_i是宏块加权因子;K_i是模式加权因子，其值的大小根据每种模式的复杂度而分配。

然后设置两个阈值Th1 和Th2 来确定当前宏块所处的模式类型，则有分类如下^【2】：

根据模式类型，确定检查规则：简单模式，仅16*16分块被检查，其他分块跳过；中等模式，则8*8块被跳过；复杂模式，所有模式分块都要检查。

至此，算法设计完毕，其余JMVC的全搜索算法相比，计算复杂度的减少主要因为在模式选择过程中跳过了不必要的模式分块，从而节省了时间。

4     利用率失真代价值和预测模型特征关系的优化算法

4.1           算法思想

JMVC采用拉格朗日率失真优化函数作为模式选择的准则以选出当前模块的最优编码模式。具体做法是对所有预测模式进行遍历，并分别计算每种模式的率失真代价，即ＲdCost，通过比较每种模式的ＲdCost，选取其值最小的模式作为该宏块编码的最优模式^【3】。

而实际应用中，就出现了前文所提到的模式被选的概率不等甚至差距较大的现象，通过这种现象，研究者就拥有了该算法的基础和切入点。

这种算法是利用帧内相邻宏块之间的相关性，更早的判定最优预测模式，就可以不继续检查其他模式，从而有效降低计算复杂度。

而利用同一帧内相邻宏块之间的相关性，研究者定义了一个变量——平均率失真代价，利用率失真代价就可以找到该宏块编码的最优模式。

4.2           具体实现思路

利用同一帧相邻宏块之间的相关性，定义变量——平均率失真代价，它是同一个帧中已编码宏块的平均率失真代价，利用它就可对应最佳预测模式。

然而，预测模块尺寸与率失真代价之间的关系通常是具有单个极小值的函数关系。当且仅当预测模式为最优尺寸时，到达折线波谷点。为了减少错误判断，可以再增加一个判断：用相邻两类率失真代价之间的差距大小来决定选择前者还是后者。

这样，按照从大尺寸预测模式到小尺寸预测模式的顺序计算每种预测模式的率失真代价，通过逐层比较率失真代价就可以判断是否提前终止跳过检查不必要的模式尺寸，从而减小计算复杂度。

5     利用帧间和视点间相关性的优化算法

5.1           算法思想

正如上文所讲，有些帧间预测模式的使用比例非常大（Skip和Direct模式），在处理一个自然视频时，大多数情况下，很多宏块遍历了所有模式之后选择了大尺寸快模式，而所遍历的小尺寸块的搜索时没有必要的，这些时间就是可以尽量减少的时间。

本算法是利用帧间和视点间的相关性定义预测模式复杂度，然后对不同复杂度等级的宏块分配模式，这样一个有选择的分割和模式分配，就能够减少模式选择时间，提高编码速度。

5.2           具体实现思路

由于相邻帧的场景内容变化很小，相邻帧之间具有高度的相关性，因此其预测模式也具有高度相关性。基于此，研究者定义了一个基于帧间和视点间相关性的预测模式复杂度。

预测模式复杂度是利用参考帧对应位置及其相邻宏块的模式信息来计算的。根据预测模式复杂度可以将宏块分为三个等级，如下^【5】：

根据复杂度等级分配宏块：Dl中的宏块只进行 SKI P模式和Inter16*1 6；对D2中的宏块分配的模式集为{SKI P，Inter 16*1 6，Inter l 6*8，Inter 8*1 6}；而 D3中的宏块则采用原算法即遍历所有的模式。

这种算法与利用宏块模式特征分类的算法有异曲同工之处。

6     结语

研究者对多视点视频编码复杂度降低算法的研究入手点大致相同，主要集中在通过各种判断提前终止模式选择或根据视频特征信息的相关性进行宏块分级和模式分配，从而减少原算法的遍历次数，节省编码时间。

然而每种算法根据判断条件的不同或特征信息相关性提取的不同，会产生不同的效果，其平均编码时间减少都在百分之五十以上，而一般能够保持和原算法几乎相同的编码率失真性能。

实际应用中，大多数算法都有其相对适用的情况，比如利用宏块模式相关性的算法对平缓的立体视频序列效果较好。应用前首先应大致分析视频的特征（提前采样自动分析），接着选用不同的算法，从而达到比较好的效果，如此一来，再基于人们对新兴视频技术的热衷，多视点视频能够很好的推向市场，具有相当好的应用前景。

参考文献

[1] 袁梅冷,杨张,雷海军.多视点视频编码模式决策快速算法. 小型微型计算机系统, 2015 年3 月 第3 期:581-585

[2] 汪博涵,陈 婧,曾焕强,蔡灿辉.采用率失真与模式特征的多视点视频编码快速模式选择.信 号 处 理, 第 31 卷 第 12 期 2015 年12 月:1642-1648

[3] 王凤随,沈庆宏,都思丹.多视点视频编码快速帧间模式选择算法. 计算机应用，2014，34(1) : 167-170

[4] 冯 桂,黄君婷. 多视点视频编码中宏块复杂度的研究. 信 号 处 理,第 3l卷 第 1期 201 5年 1月:73-79

[5] 王凤随,王冠凌,瞿成明,赵 发. 基于宏块多相关性的多视点视频编码方法. 计 算 机 工 程, 第 41卷 第 2期 201 5年 2月:258-267

[6] 刘星宇,郁 梅. 基于双目感知的多视点视频快速编码算法. 计算机工程与应用 2 01 4,5 :2 29-232

[7] 李跃,朱亚培,蒋刚毅,刘　灿,游开明. 基于转移概率的多视点视频快速模式选择算法. 光 电 子 · 激 光,２０１４年１２月:2379-2386

[8] 杨虎（南京大学）. H.264/AVC视频压缩编码运动估计算法研究.

[9] 朱威,郑雅羽,陈朋,韩巨峰. 低复杂度的多视点视频编码宏块模式决策算法. 光 电 子 · 激 光, 2０１４.５:988-997

[10] 陶沛(西安电子科技大学).基于多视点视频编码的快速模式决定算法研究

[11] 窦环，贾克斌. 基于深度信息的多视点视频快速模式选择算法. 计算机工程第40卷第6期2014年6月:295-299

[12] 孔祥军,赵岩,王世刚,陈贺新. 基于相邻宏块率失真代价的JMVC快速算法.光电子技术:128-131

[13] 何宛文,安平,王健鑫,左一帆,沈礼权. 结合深度信息的多视点视频编码快速模式选择算法.光电子 激光：1565-1570

[14] 刘海旭（北京邮电大学）.面向多视点视频的新视点合成技术研究.博士学位论文

[15] 田涛（宁波大学）. 深度视频快速高效编码算法研究.硕士学位论文