VCIP 2020：面向VVC的自适应分辨率改变

本文来自VCIP2020论文《Adaptive Resolution Change for Versatile Video Coding》

自适应分辨率改变（Adaptive Resolution Change ，ARC）是允许视频序列根据网络状态传输不同分辨率视频，当网络带宽低时传输低分辨率视频，带宽高时传输原始分辨率视频。

在H.265和H.264中，当编码器在传输视频过程中想改变分辨率时需要插入一个满足新分辨率的IDR帧或IRAP帧。但是传输IDR帧或IRAP帧需要比较多的码率，对视频会议类的应用会引入延迟。

如上图所示，视频序列在编码的过程中两次改变分辨率。通常情况是在分辨率改变时插入IDR帧或IRAP帧，然后后续序列按新的分辨率继续编码，但这样延迟较高。如果不插入IDR帧或IRAP帧则在帧间预测时当前帧和参考帧分辨率不同会带来问题。

VP9通过参考图像重采样（ reference picture resampling，RPR）来解决这个问题，使得不同分辨率直接的图像可以进行帧间预测。对于VVC，在第13次JVET会议中提出这个问题，在第15次会议中将其加入草案。

参考图像重采样RPR

当视频序列的分辨率改变时，为了能够进行运动补偿需要对参考图像进行重采样，有两种重采样方式，分别是基于图像的RPR和基于块的RPR。

基于图像的RPR

基于图像的RPR需要将重采样前和重采样后的参考图像都放入DPB内，当运动补偿时在DPB中找对应分辨率的参考图像进行预测。但是当所有参考图像的各个分辨率版本都存入DPB时会加重存储负担。

基于块的RPR

基于块的RPR只需要在DPB中存入重采样前的参考图像。当当前图像和参考图像分辨率不一样时通过下面三个步骤生成预测块：（1）计算参考图像和当前图像分辨率的缩放因子。（2）在参考图像中找到基于缩放因子的MV指向的位置。（3）通过插值滤波器计算目标像素。

其中步骤（2）在参考图像中找到基于缩放因子的MV指向的位置的过程如上图所示。其中蓝色圆圈表示参考块中整像素位置，右边图像中红色十字叉表示当前块的整像素位置。假设当前块左上角相对于当前图像左上角的坐标为(xSb,ySb)，当前待处理的像素为右边图像中的红色实心十字叉其坐标为(xSb+xL,ySb+yL)。则其参考像素在参考块中的坐标(refxL,refyL)由下面方式生成，

其中(refMvLX[0],refMvLX[1])是当前块的MV，hori_scale_fp 和vert_scale_fp分别是水平和垂直方向的缩放因子。例如如果参考图像分辨率是1920x1080，当前图像分辨率是960x540，则hori_scale_fp 和vert_scale_fp都等于2。

基于图像的RPR和基于块的RPR的对比

基于图像的RPR和基于块的RPR的对比需要考虑存储空间和计算复杂度两个方面。

基于图像的RPR的计算复杂度比较低，因为无论参考图像被参考几次都只需要做一次重采样。但是由于其将重采样前和重采样后的参考图像都放入DPB内，使用占用存储空间比较多。

基于块的RPR只需要将重采样前的图像存入RPR所以不需要额外的空间。但是参考块每被参考一次都需要进行计算，所以计算复杂度比较高。

上表是两种算法在VTM5.0上的对比，anchor是基于图像的RPR。视频序列都在第3秒水平和垂直方向各降采样一半，在第7秒恢复原始分辨率。可以看到两种算法效果差不多，但是基于块的RPR占用空间更低，所以集成进VVC。

ARC和其他编码工具的交互

当CU使用ARC时，则不允许使用DMVR。
当CU使用ARC时，则不允许使用BDOF。
当CU使用ARC时，则使用TMVP时需要对时域MV根据分辨率进行缩放。其对YUV的BD-Rate的增益分别为0.16%、0.07%、0.23%。
当相邻块中某个块的参考图像的分辨率小于当前图像时容易出现块效应。此时将去方块滤波中的边界强度设为1可以去除块效应。如下图所示，这种改变主要带来主观效果的提升，对BD-Rate影响较小，YUV BD-Rate分别为-0.05%、0.13%、-0.04%。

实验结果

比特波动率分析

首先不使用ARC，当分辨率改变时插入IDR帧，在VTM4.0.1平台上LD配置下实验。视频序列都在第3秒水平和垂直方向各降采样一半，在第7秒恢复原始分辨率。结果如下图所示，可以看到当分辨率变化时波动比较大，尤其是第91和211帧处波动剧烈，这是由于插入IDR帧码率比较高。

下图是使用ARC的结果，码率波动相对平缓。

ARC编码效果分析

使用基于块的RPR，实验平台为VTM6.1，分辨率每0.5秒改变一次，缩放因子为2.0x/0.5x，如上图所示。上表是实验结果，YUV的BD-Rate增益分别为17.67%, 20.72%和20.75%。

感兴趣的请关注微信公众号Video Coding