VVC/VTM：帧间预测——Combined inter and intra prediction (CIIP)

Combined inter and intra prediction (CIIP)

CIIP，顾名思义，就是说对编码块进行帧间预测Pred_inter和帧内预测Pred_intra，将两个预测块加权组合得到最终预测块。

当CU用Merge模式进行编码，且至少有64个亮度样点时（W∗H>=64W*H>=64W∗H>=64），编码器用一个附加的flag标识当前CU是否使用CIIP。
如果当前CU使用CIIP，则首先跟军帧内预测模式（用2个语法元素表示：DC, planar, horizontal和vertical中的一种）获得帧内预测块Pred_intra，然后获取Merge模式下得到的帧间预测块Pred_inter；最后将两者加权组合得到最终预测块Pred。

获取帧内预测模式

CIIP共允许4种帧内预测模式：DC, PLANAR, HORIZONTAL和VERTICAL；但是，如果CU很宽（W>2H）则禁止HORIZONTAL模式，如果CU很长（H>2W）则禁止VERTICAL模式，即这两种情况下只允许3种模式。

CIIP与传统帧内相似，设置3MPM（most probable modes），MPM列表根据以下规则构建：

左方和上方相邻块分别设置为块A和块B；
A和B的帧内模式分别表示为intraModeA和intraModeB
- X为块A或块B；
- 若满足以下任一条件，则将intraModeX设置为DC模式，1）块X不存在；2）块X不是CIIP或帧内模式；3）块X不在当前CTU内；
- 否则，intraModeX设置规则如下：1）如果块X是DC或PLANAR模式，则设置为DC或PLANAR；2）如果块X是类似于垂直形状的块，则设置为VERTICAL；3）如果块X是类似于水平形状的块，则设置为HORIZONTAL。
如果intraModeA和intraModeB相同，如果intraModeA为PLANAR或DC，则MPMs设置为{PLANAR, DC, VERTICAL} ；
intraModeA和intraModeB不同
- MPMs前两个设置为{intraModeA, intraModeB}；
- 按照 PLANAR, DC and VERTICAL的顺序与MPMs中的前两者检查重复性，若不相同，则作为MPM中。

如果CU如上面所述的很长或很宽，则MPM flag默认为1，无需传输；否则，传输MPM flag用来说明CIIP中的帧内模式是否是MPM列表中的一个。

如果MPM flag为1，则继续传输MPM idx表示CIIP帧内模式为MPM中的第几个；否则，MPM flag为0，则CIIP帧内模式不在MPM列表中，总共4个模式，MPM中包含3个模式，则另外一个模式为CIIP帧内模式。

对于色度分量，默认使用与亮度分量相同的帧内模式。
与传统帧内相同，CIIP的帧内预测模式还会被用来预测后续的周边CU。

加权组合帧内帧间预测块

CIIP帧间预测块PinterP_{inter}Pinter通过正常的merge模式获取，帧内预测块PintraP_{intra}Pintra通过帧内预测获取，将两者按照如下规则进行加权组合得到最终预测块：

如果帧内预测模式为DC或PLANAR模式，或W或H小于4，则使用1/2，1/2的加权组合；
否则，此时帧内预测模式为HORIZONTAL或VERTICAL模式，根据样点在块中的位置确定权值。以HORIZONTAL为例， W表示为块的宽度，H表示为块的高度。首先将编码块分成四个相等面积的部分，每个部分的尺寸W/4×HW / 4×HW/4×H。从最接近帧内预测参考样本的部分开始并且在距帧内预测参考样本最远的部分处结束，4个区域中的每一个的权重wt分别被设置为6,5,3和2。使用以下方法导出最终的CIIP预测信号：

分析：CIIP同时利用了时域信息和空域信息，前者主要是基本亮度或基本色度值，后者主要是纹理信息。

代码详解：VVC/VTM：帧间预测——Combined inter and intra prediction (CIIP)代码详解