振铃效应与样点自适应补偿（Sample Adaptive Offset，SAO）技术

本文主要对SAO的几种补偿方式进行简要介绍。

文章目录

振铃效应与样点自适应补偿（Sample Adaptive Offset，SAO）技术
一、振铃效应
二、SAO的原理
- 1. SAO为什么能消除振铃效应
- 2. 五种类型的SAO
- 3. SAO选择类型的标准
三、EO模式
- 1. EO模式的原理
- 2. EO模式的四种判别方式
四、 BO模式
五、MERGE模式
六、NOT APPLIED模式
总结
参考资料

一、振铃效应

H265的压缩过程中【1】会丢失信号的部分高频分量，因此会产生振铃效应。

如图所示（图片来源【2】），实现代表未压缩图片的像素，虚线代表压缩后解码恢复后的图片的像素。这种由于高频信号损失引起图片失真的现象称为振铃效应。

二、SAO的原理

1. SAO为什么能消除振铃效应

为了减少误差，可以将两者间的差值传输给解码端，但这样需要传输的信息较多较大，也没有必要。因此H265中设置了样点自适应补偿（Sample Adaptive Offset，SAO）技术，来减小振铃效应。具体逻辑就是对各个需要补偿的点（与原始图像有偏差）进行分类，为每个分类设置一个合适的偏移值（offset），这样解码端就能根据编码端传输过来的几个offset值和分类方式来恢复图像了。

2. 五种类型的SAO

H265在压缩图片时，将一帧视频的图片分割成许多64*64或者其他大小的碎片（CTU）,而SAO是以CTU为单位的进行分类的。SAO大概可分为以下5种类型：

1. Not Applied : 表示该CTU不需要进行补偿；
1. Merge Up : 表示该CTU和他上面那块的CTU采用同样的补偿方式；
1. Merge Left : 表示该CTU和他左面那块的CTU采用同样的补偿方式；
1. Edge Offset (EO): 根据每个像素点和他附近像素点的关系，将其分为5类，其中4类需要补偿，为每类设置一个合适的offset。
1. Band offset(BO): 根据每个像素点的大小进行分类，分为32个区间，为每个区间选择一个合适的offset。

3. SAO选择类型的标准

选取SAO类型的时候，不仅要考虑对图像的恢复效果，也要考虑引入SAO引起的信息的增大。因此，我们引入代价函数δ\deltaδJ来衡量SAO，δ\deltaδJ的计算公司如下所示：
ΔJ = ΔD + λR；其中ΔD是引入该方式后，图片的失真程度；R是比特估计，也就是编码该SAO方式需要的比特数；λ是拉格朗日因子，该值设置越大，就越倾向于选择信息量少的SAO方式，该值越小就越倾向于选择恢复效果好的SAO方式。ΔD和R详细的计算见【2】

三、EO模式

1. EO模式的原理

Edge Offset (EO)根据每个像素点和他附近像素点的关系，将其分为5类，其中4类需要补偿，为每类设置一个合适的offset。

2. EO模式的四种判别方式

对c点进行分类时，使c与附近的a,b两点进行比较。

如图所示（图片来源【2】），a,b的选取有4种方式，E_00（0度） E_90（90度）, E_45（45度）, E_135（135度）。

根据大小关系对其进行分类，如图所示（图片来源【2】），不属于这4类的，就是第5类，第5类不做补偿；

如果采用E_00方式取点，图片中的像素点就有E_00_1,E_00_2,E_00_3,E_00_4这4类;
计算E_00_1的个数N，和这些点与原始图片的差值之和E，然后计算E/N，取整。若E/N大于7，offset初始值就选7，否则选E/N;需要注意的是，1和2类的offset必须是正数，3和4类的offset必须是负数。

确定是初始值后，就在【0，offset初始值】间的整数进行遍历，计算出每一个offset对应的ΔJ，最后选出一个ΔJ最小的offset; 最终4个分类遍历完以后就得到ΔJ_00_1,ΔJ_00_2,ΔJ_00_3,ΔJ_00_4,这四个值相加，就是E_00分类方式得到最小的代价函数ΔJ_00;

同理计算出ΔJ_45, ΔJ_135和ΔJ_90, 之后对这4个值进行比较，选出最小的代价函数ΔJ_EO,及其对应的offset。如果该CTU最终选取EO模式，就输出这4个offset和其对应的角度即可。解码端可以根据角度和offset恢复图像。

四、 BO模式

Band offset(BO): 根据每个像素点的大小进行分类，分为32个区间，为每个区间选择一个合适的offset。分类后与EO模式的计算过程相同，确定offset初始值，遍历，找到每个区间代价函数最小的offset。

由于一个CTU中的点大多聚集在一起，因此一般选取连续的4个区间，就能涵盖几乎所有的点了。最终选出代价函数ΔJ相加起来最小的连续的4个区间。如果该CTU最终选取BO模式，就输出这4个offset和4个连续区间的起始区间位置即可。解码端可以根据起始区间位置和offset恢复图像。

五、MERGE模式

MERGE模式分 Merge Left和Merge Up ，表示该CTU和他左面或上面那块的CTU采用同样的补偿方式和offset值；计算出代价函数后，选出代价函数最小的模式；

需要注意的是，由于直接采用附近块的SAO模式，因此编码时所需的比特数R较少，只需要编码merge信号的相关信息即可。

六、NOT APPLIED模式

Not Applied，表示该CTU不需要进行补偿；不需要补偿时，ΔD记为0，只需要计算编码所需比特数R即可。

总结

当计算完EO，BO，MERGE和NOT APPLIED的损失函数ΔJ以后，选取最小ΔJ的模式输出。
解码端接收到这些信息后，根据所选取的分类模式对图片的像素点进行分类，并加上对应的偏差值（offset），以达到减小振铃效应，更好的还原图片的目的。

参考资料

【1】CSDN博客： H.265/HEVC编码原理及其处理流程的分析
【2】.新一代高效视频编码H.265/HEVC:原理、标准与实现，作者：万帅、杨付正；