视频编解码技术发展趋势

注：个人理解，仅供参考，如有其他看法，欢迎一起讨论！

01 发展历史

视频编解码技术的发展已有数十年时间了，目前成熟的技术均为以块划分和预测变换技术为基础的框架
而90年代以来，国际视频编解码标准也经历了多个代的更迭，推出了许多的视频编解码标准
以ISO/IEC和ITU为例，从最早各自研发MPEG-2、MPEG-4和H.262、H.263，再到后面两大组织深入合作
以联合专家组推出H.264/AVC、H.265/HEVC、H.266/VVC，目前仍是H.266/VVC的研发周期
而在国内，AVS工作组在2002年成立，推出了AVS1、AVS+、AVS2、AVS3，实现了技术落后到追赶的过程

02 技术现状

视频编解码技术的性能每一代都会提升50%左右，但与之相伴的就是复杂度也在快速提升，所以还是依赖于硬件技术
当前视频编解码技术趋于稳定，传统的基于块的编解码框架的性能提升已非常艰难，而且复杂度显著提升到无法接受
目前主流的标准主要是H.266/VVC、AV1（谷歌和微软主导）、AVS3，性能比较接近，技术框架也近似
基于块的编解码框架主要包括：快划分、帧内/帧间预测、变换与量化、环路滤波、熵编码等
目前的压缩效率在600-1000倍左右，也就是说，将原始的YCbCr视频存储成大小压缩到600-1000倍的码流

03 未来趋势

目前，随着深度学习技术和计算芯片技术发展，越来越多人探求基于神经网络的智能编码技术，但目前效果还未达标
深度学习技术的可以实现模块替换和端到端的编解码，但与之伴随的问题仍然是复杂度巨大，短期内没有降低的趋势
也有学者探究新的视频模式，包括点云/Vidar、RAW数据处理，类似都是基于原始图像提取信息，而不是以YUV转化
新的视频模式数据量都是巨大，操作复杂度更高，短期内的实现可能性也不高

随着视频编解码技术的发展，视频显示分辨率也随之提高，从标清到高清，再到2k、4k、8k，未来甚至到16k
有专家指出，视频分辨率超过4k，实际上已经超出了人眼所能察觉的清晰度极限
随着5G技术发展，未来几年4k/8k视频会成为广播电视DVB、交互式电视IPTV、网络视频OTT的主要形式

在分辨率无法继续提升的情况下，当前视频技术的发展主要包括HDR/WCG、全景视频、自由视角视频等
HDR/WCG是提高亮度动态范围和色域，让视频图像更真实地还原现实世界，提升视频图像质量（位深增加）
全景视频即所谓的AR效果，构建虚拟场景，让人身临其境，能够360度感知视频内容，in-side-out
自由视角即多视角，未来趋势是6DoF，实现自由交互视频，让人能全方位感知视频内容，随意切换角度，千人千面
这些新技术的发展都需要巨大的数据通量和终端处理能力或云处理，需要通信网络带宽的配套支持和CODEC技术提升
在未来，与这些新技术相关的应用将得到蓬勃发展，构建真正意义上的多媒体世界

结合当前人工智能、互联网、通信技术、集成电路发展趋势来看，目前这些技术都多多少少遇到一定瓶颈
人工智能的热潮现在是第三波，以深度学习带动，但实际上还是以来特定模式/规则下的计算，没有识别/分析问题能力
互联网十来年红利来源于移动互联网，以手机为超级终端进行电商、社交、O2O、游戏、直播等模式发展，格局已定
通信技术走过了1G/2G/3G/4G/5G，以蜂窝网络为核心的无线通信技术已到达理论上的技术瓶颈，进一步提升较困难
集成电路发展过去一直符合摩尔定律，芯片制程到达5nm，甚至更低，但越来约逼近理论极限（量子隧穿效应）
应用技术的瓶颈根源在于当前的科学技术以来的基础理论都是过去一两百年的，而当前基础学科的发展陷入停滞