2106_视频处理与压缩技术

文章目录

1. 视频处理技术
- 1.1 视频超分辨
- 1.2 视频恢复
2. 视频压缩技术
- 2.1 混合编码框架的传统技术
- 2.2 混合编码技术的深度学习技术
- 2.3 多视点/立体视频压缩

题目：视频处理与压缩技术（中文综述）

来源：中国图象图形学报，贾川民，马海川等

1. 视频处理技术

1.1 视频超分辨

一般分为传统信号处理和深度学习方法两类，前者可以采用贝叶斯方法/期望最大化EM方法，估计底层运动、模糊核核噪声水平，重建参考帧；后者由CNN，GAN和RNN等方法。

本文以是否在重建帧之前进行帧对齐的角度进行分类：

1.对齐超分辨算法

大多基于运动补偿和运动估计技术，前者提取帧间的运动信息，大多基于光流，或者使用Druleas算法；后者根据运动信息进行帧间的矫正，使当前帧与前一帧对齐。

其他方法：亚像素卷积层；反投影算法；实时视频超分辨。

2.非对齐超分辨算法

分为空间未对齐和时空未对齐，前者不需要帧间和运动估计和运动补偿，例如超分残差网络，通过对抗性训练解决超分辨的问题；DUF提出动态滤波器的结构与三维卷积学习到的时空信息相结合，避免了运动估计和运动补偿。

但是非对齐的方法总体上不如对齐的方法，这说明帧间的信息融合还是很重要的。

3.视频插帧

基于相位的方法PhaseNet可以处理运动模糊的情况，但是不能重建详细纹理；

核方法对每个像素估计一个自适应卷积核，但是不能处理大运动场景；

基于流的方法，根据邻近帧预测中间帧，需要估计中间帧的运动向量。

1.2 视频恢复

图像降质模型很多，由模糊、噪声和天气效应。处理方法主要分为四类：基于时域的算法，基于频域的算法，基于低秩和稀疏性的算法，基于深度学习的算法，前三者是基于模型驱动的方法，最后是基于数据驱动的方法。

2. 视频压缩技术

2.1 混合编码框架的传统技术

传统视频编码框架采用基于块划分的混合编码框架，包括帧内预测、帧间预测、变换、量化、熵编码和环路滤波等技术模块：

先进视频编码AVC采用基于16×16的宏块的划分结构；为了提升划分的灵活性和自适应性，高效视频编码HEVC采用了四叉树划分结构；VVC标准采用了高通公司提出的四叉树、三叉树和二叉树联合的多级划分方式，进一步提高了编码灵活性。

帧内预测利用临近块的空域相关性消除了空域冗余；帧间预测中的运动矢量编码消耗的比特数一直制约着压缩性能；变换是为了去除残差信号的统计相关性；量化是压缩失真的主要来源；熵编码为了去除统计域的冗余；环路滤波是去除压缩失真的关键技术。

块划分的进展：

wang 2019b提出一种非对称的三叉树划分方法；Fu 2019提出了非对称划分方法，可以划分出四叉树、二叉树和拓展四叉树无法划分出的形状和规则。（Derived tree block partition for AVS3 intra coding / / 2019 Picture
Coding Symposium）

清华大学wang 2019c提出了一种 帧间导出树的划分技术来更好的拟合编码单元中信号的变化规律。（Extended coding unit partitioning for future video coding ）

2.2 混合编码技术的深度学习技术

一个比较重要的方向是如何将时域和空域进行融合

另一个方向是端到端的深度学习视频压缩，所有模块都是深度神经网络，更容易实现全局最优，这类工作按照应用场景可以分为：面向随即切入场景，低延时场景。

2.3 多视点/立体视频压缩

3D-HEVC是交友参考价值的三维视频编码标准，其中由纹理图编码工具和深度图编码工具。

reference

Karsten Müller, Heiko Schwarz, Peter Eisert, Thomas Wiegand
Video Data Processing

MSU Video Codecs Comparison 2021 (Sixteen Annual Worldwide Video Codecs Comparison) (compression.ru)

compression.ru)](https://www.compression.ru/video/codec_comparison/2021/)