DCC2020:VVC帧间预测中的几何划分
本文来自DCC2020论文《Advanced Geometric-based Inter Prediction for Versatile Video Coding》
几何划分相较于三角划分,能更好的贴合物体轮廓。
相关工作
VVC中的三角划分TPM
三角划分TPM是VVC帧间预测工具,通过主对角线或副对角线将块划分为两个三角区域,每个区域使用单向帧间预测分别只需要一个运动矢量,MV是需要传输其在merge list里的索引。两个MV都是通过运动补偿得到,会产生两个w x h的中间预测块Pi,最终的预测块P_B通过将两个块加权得到。
其中W0+W1=8,且都是整数权重。权重由像素值到分割线的曼哈顿距离决定,例如W0=clip(0,8, w_TMP0+4)。w_TMP0是距离,对于左上角到右下角的三角划分,距离可由下式求得,
a,b是常数因子,由块的宽高比决定。
AV1这的楔形预测
AV1定义了16种楔形划分方式,楔形要么是水平垂直,要么是±2,±0.5(取决于形状)。和TPM类似,最终也需要对两个预测块进行加权。
基于几何划分的帧间预测GIP
GIP(Geometric-based Inter Prediction)是对TPM的补充,它可以更好的适应物体的形状,它们的MV的merge方法和编码方法也都相同。GIP共支持82种划分,只支持不小于8x8的块。编码端需要决定块使用的GIP索引Si∈{0...81},并通过截断二元编码传到解码端。GIP定义的边界能更好的贴合物体轮廓,从而提高编码效率。
分割边界定义
分割边界在极坐标系中定义,需要两个参数角度ϕ和偏移值ρ 确定。像素(x_c,y_c)到边界的距离由下式计算(坐标原点为块中心),
注:我推导的距离公式和论文中给出的不一致,通过查阅作者在TSCVT2020中的文章《Geometric Partitioning Mode in Versatile Video Coding: Algorithm Review and Analysis》找到对应公式,TCSVT中的公式和我推导一致,公式如下:
其中ϕ和ρ是定义分割边界的参数,定义如下:
边界参数量化
边界参数ϕ和ρ需要量化处理,从而使82种划分方式能对空间进行均匀划分。
参数ϕ需要量化到预定义的ϕj,j∈{0...23}。ϕj对2π进行不均匀划分使得tan(ϕj)保持固定,tan(ϕj)∈ {0, ±1/4, ±1/2, ±1, ±2, ±4, ∞}。
参数ρ需要量化到预定义的ρk,k∈{0...3}。为了避免对于不同尺寸块的分界线分布不均匀,ρk按下面方式求得,
其中j<12时ρx,k 和ρy,k取负值,否则取正值。
上图是GIP部分划分方式。GIP总共有NGIP = NϕNρ−Nϕ/2−2 = 82种划分方式,Nϕ=24,Nρ=4,其中对称的水平和垂直划分由于和二叉树划分结果一样所以去掉了。
GIP加权
对于几何划分后的两个预测块要进行加权生成最终预测块,权重和像素到分割边界的距离有关。
其中f_B函数如下图所示,
下面是一个加权示例,
实验结果
下表分别是RA和LD配置下的实验结果,
下图是RA配置下不同QP下使用TPM和GIP的像素的百分比。
感兴趣的请关注微信公众号Video Coding
DCC2020:VVC帧间预测中的几何划分相关推荐
- H.266/VVC帧间预测技术学习:几何划分模式(Geometric partitioning mode, GPM)
几何划分模式 (Geometric partitioning mode ,GPM)原理 针对图像中运动物体的边界部分,VVC采用了几何划分模式进行帧间预测.如下图所示,GPM模式在运动物体的边界处进行 ...
- H.266/VVC帧间预测总结
一.帧间预测基本原理 帧间预测是利用视频帧与帧之间的相关性,去除视频帧间的时间冗余信息.统计表明,帧间差绝对值超过3的像素平均不到一帧像素的4%,因此,采用高效的帧间编码方式,可以很大程度上提高视频压 ...
- H.266/VVC相关技术学习笔记21:帧间预测中五种Merge模式的熵编码方式
今天主要详细讲一下帧间预测中五种Merge模式的熵编码方式,以及对应的VTM的代码中的编码方式的实现.现阶段VTM6.0中Merge模式大致上分为五种,分别是Subblock_Merge.MMVD_M ...
- VVC帧间预测(十)帧间帧内联合预测CIIP
帧间帧内联合预测(Combined inter and intra prediction ,CIIP),在HEVC中一个CU在预测时要么使用帧内预测要么使用帧间预测,二者只能取其一.而VVC中提出的C ...
- H.266/VVC帧间预测技术学习:帧间和帧内联合预测(Combined inter and intra prediction, CIIP)
在HEVC中一个CU在预测时要么使用帧内预测要么使用帧间预测,二者只能取其一.而VVC中提出的CIIP技术,是将帧间预测信号与帧内预测信号相结合. 在VVC中,当CU以Merge模式编码时,且CU包含 ...
- H.266/VVC帧间预测技术学习:带有运动矢量差的Merge技术(Merge mode with MVD)
在VVC的扩展Merge模式当中,当前CU生成的Merge list中选择一个率失真代价值最小的候选项直接作为自己的运动信息.除了常规Merge模式,VVC还引入了带运动矢量差(Merge mode ...
- VVC帧间预测(一)扩展的merge模式
VVC在HEVC的基础上增加了很多新的帧间预测工具,在VTM5里新增的帧间预测工具如下: Extended merge prediction Merge mode with MVD (MMVD) AM ...
- VVC帧间预测(八)DMVR
解码端运动向量修正(Decoder side motion vector refinement ,DMVR)是为了提高merge模式下双向预测MV的准确性而提出的技术.双向预测是在list0和list ...
- 【十三】 H.266/VVC | 帧间预测技术 | 解码端运动向量修正技术(DMVR)
目的:为了提高merge模式下双向预测MV的准确性 基本思路:双向预测是在list0和list1中分别寻找一个运动向量,然后将MV0和MV1所指向的预测块进行加权得到最终预测块,而DMVR技术不是直接 ...
最新文章
- thinphp 整合ueditor
- 你知道怎么分库分表吗?如何做到永不迁移数据和避免热点吗?
- TinyBERT搜索: 比BERT快10倍,小20倍
- 人工智能企业自动化的关键现状和战略影响
- 【Redis6快速深入学习01】NoSQL数据库简介
- 浅析路径遍历漏洞 文/饭
- 深度学习(03)-- CNN学习
- 淘宝山寨IOS sdk
- ping32终端安全管理系统_通过Ping32工单管理功能使用教程
- 洛谷 P2920 [USACO08NOV]时间管理Time Management
- 群晖6.1安装php3.6_黑群晖 DSM6.1安装简明教程
- 佛大计算机控制系统期末试卷,[设计]统考计算机模拟练习试题及答案基础知识...
- 微信小程序前端设计(超级实用哦)
- TP5 生成二维码并合成图片
- 台式计算机如何拆硬盘,台式机如何更换硬盘
- 债券数据集:绿色债券数据集、历时新发、发行债券、DCM定价估值四大指标数据
- SpringMVC中的拦截器介绍
- m8+android固件,M8完美Android 2.2 LBE A11版固件发布
- 模块“XXX.dll”加载失败
- poj 1163经典DP