ICASSP2021：AV1帧内模式编码改进

本文来自ICASSP2021论文《IMPROVED INTRA MODE CODING BEYOND AV1》

AV1帧内预测

简介

在AV1中帧内预测模式分为角度帧内预测模式和非角度帧内预测模式，和VP9一样有8种角度帧内预测模式，在每种方向上还有7个delta角度（-3~+3）用于扩展方向的粒度，总共56个方向模式，如Fig1所示。

非角度帧内预测模式包括SMOOTH、SMOOTH-V、SMOOTH-H、Paeth预测和递归滤波模式。在AV1中，除了跨分支预测CfL外，色度和亮度分量共享同样的帧内预测模式。

帧内模式编码

如表1所示，帧内模式编码至少需要4个语法元素：亮度的标称角度（y_mode）、亮度的delta角度（angle_delta_y）、色度的标称角度（uv_mode）、色度的delta角度（angle_delta_uv）。在编码色度标称模式时，对应的亮度标称模式用于生成上下文。在编码色度delta角度时，色度标称角度用于生成上下文。换句话说，亮度和色度delta间的相关性（如果有的话）没有利用起来。

编码器帧内模式搜索

在AV1中，编码器以预定义或固定的的顺序遍历标称模式来搜索最优帧内预测模式。对于亮度分量，首先进行粗略的模式决策过程来确定那些模式进行全RDO计算。对于色度分量，所有标称模式都有进行全RDO计算。当当前块有超过32个像素，且对应的标称模式的RD cost是遍历的所有标称模式中最小时，进一步搜索delta角度。为了减少计算复杂度，不对所有delta角度进行全RDO计算，首先对delta角度-2，0，2进行搜索，然后基于它们的RD cost决定是否跳过其他delta角度的搜索。

帧内模式分布分析

亮度和色度块的帧内预测角度通常有很高的相关性。在Fig2(a)中，水平轴表示当色度delta角度不为0时，亮度和色度标称角度的差值。可以看见当色度delta角度不为0时，95%的块的亮度和色度标称角度相等。在Fig2(b)中，水平轴表示亮度和色度标称角度相同时，亮度和色度delta角度的差值。可以看见，当亮度和色度标称角度相同时，55%的块亮度和色度delta角度相同。此外，亮度分量的delta角度在相邻块间有很高的空域相关性。Fig3显示，当前亮度块和其中一个相邻块标称角度相等的概率超过80%。

本文算法

跨分支模式编码

由Fig2可知，当亮度和色度标称角度不同时，delta角度不为0的概率仅为5%。因此，为了减少传输delta角度的码率和编码时间，只有亮度和色度标称角度相同时才传输色度的delta角度，否则不在码流中传输色度的delta角度，在解码端默认为0。这样，色度分量只有8个标称角度和6个非零delta角度。为了减少性能损失，这8个标称角度和6个非零delta角度都需要进行全RDO计算。和libaom v2.0相比，对于all intra配置平均节省4%的编码时间，而BD-rate损失很小。

在AV1中，亮度和色度分量在传输delta角度时使用相同的累积密度函数（Cumulative Density Function ，CDF）和代价函数。这种设计是基于亮度和色度的delta角度概率分布相似的假设。但是，根据前面的观察。在大部分情况下亮度和色度的delta角度概率分布不同。因此，使用不同的CDF和代价函数可以更好的捕捉亮度和色度delta角度各自的统计特征。

根据前面的观察，色度的delta角度和亮度的高度相关，使用亮度delta来生成色度delta的CDF比使用色度标称角度生成色度delta的CDF更好，这样能更好的利用亮度和色度分量的相关性。这样，当亮度和色度delta角度相等时，传输色度delta角度的代价会减小。此外，亮度和色度delta角度相等的概率由50%变为90%。

有两种方法可以使色度delta角度依赖于亮度delta角度。方法一Method #1 ，仅当亮度和色度标称角度相同时才传输色度delta角度。方法二Method #2，使用两种CDF，当亮度和色度标称角度相同时使用一种CDF，不同时使用另一种CDF。

上下文自适应的模式编码

根据Fig3观察，当亮度标称角度和至少一个相邻块的标称角度相同时，delta角度相同的概率超过80%。基于此，对亮度模式编码可以使用上下文自适应的方法。当当前块的标称角度和其中一个相邻块的标称角度相同时，则其delta角度的CDF由其相邻块的delta角度建模。当上方和左侧相邻块的标称角度都相同时，优先考虑上方。

实验结果

使用All intra配置，YUV的BD-rate按6:1:1计算。QP={28,35,42,49}。使用的命令行为，

跨分支模式编码的结果如表2，

上下文自适应模式编码的结果如表3，

感兴趣的请关注微信公众号Video Coding