ISP—去马赛克和颜色空间变换对图像噪声的影响

图像噪声的存在很大程度上会影响图像质量，然而去马赛克和颜色空间转换对噪声的相关性起着主要的影响。

去马赛克

camera中的CMOS通过CFA拜尔阵列来采集不同通道的颜色，一般情况下，R:G:B=1：2：1；

由于拜尔阵列每个像素点只有一个通道的颜色信息，所以我们需要利用周围像素点信息来对其他颜色进行估算，这个步骤我们一般通过线性插值的方法，也就是去马赛克算法，对于可见光彩色图像，经过颜色插值过后必然会引入空间相关性。

一个简单的去马赛克流程

A.先获取图像中的物体的边缘

B.根据边缘信息重建G分量

C.根据哈密尔顿提出的色差恒定理论，重建R和B

D.一些后处理，包括伪彩色抑制和zipper cancelling等

个人认为，好的去马赛克算法可以一定程度上减轻算法对噪声空间相关性的影响。

颜色空间转换（CSC）

颜色空间转换是为了便于图像进行压缩、存储和传输的图像操作，其中RGB向YUV格式进行转换是做常见的形式，通过将RGB分量乘以一个3*3的变换矩阵，这使得每个像素的每个通道都是相关的。在YUV格式中Y包含了图像中95%的亮度信息，UV表示色度信息，人眼对颜色信息变换不如光强信息敏感，故此YUV格式中除了完全保留信息的4：4：4，还有利用视觉特征进行图像压缩的4：2：1，4：1：1或者4：2：0；压缩处理使得图像噪声进一步空间相关。

在以下两个公式中RGB和YUV各分量的值的范围均为0-255。

RGB转换为YUV公式：

Y = 0.257*R+0.564*G+0.098*B+16

U = -0.148*R-0.291*G+0.439*B+128

Cr = 0.439*R-0.368*G-0.071*B+128

色彩空间转换这个模块，是将RGB 转换为 YUV，然后在YUV 色彩空间上进行后续的彩色噪声去除、边缘增强等，也为后续输出转换为jpeg 图片提供方便。

图像噪声的空间相关性是由ISP算法所决定，采用不同的ISP算法，其噪声的空间相关性不尽相同。

在ISP模块里，研究者们会讨论去噪模块(Noise Reduction)到底是在去马赛克模块(Demosaic)之前还是之后进行。如果在之前处理的话，随着去噪过程的进行，噪声点消除的同时，伴随着彩色信息的损失；如果在之后，复杂的插值过程将会改变噪声的统计模型，使其变得很复杂并且难以计算。所以，更多的情况是选择在Demosaic之前进行去噪操作。

CFA(Color Filter Array) Data不能采用传统的灰度图像去噪算法，因为CFA图像中相邻的像素点具有不同的颜色信息度量，CFA图像的块状结构与没有传统意义上的平滑性以及分段恒常性，以至于一般的去噪算法对CFA图像并不适用。CFA Data也不能够采用彩色图像去噪算法因为每个像素点只含有一个颜色通道的信息。

①一种方法是，将原来的CFA图像阵列分成四小块(R,G1,G2,B),分别对这四块采用灰度图像去噪的方法。这种方法往往表现差，因为重要的色彩相关性信息被忽视掉了。CFA去噪算法可以通过利用CFA Data的空间以及色彩相关性来改善其效果。

②另外一种方法是利用CFA图像里面各颜色块的信息构造一幅低分辨率的RGB图像，这种方式很好的利用了其颜色相关信息，但是不能够较好的保护空间域上的高频信息。

③BM3D(Block Matching 3-D filtering algorithm)算法的提出，通过限制图像块具有相同的颜色配置结构来达到处理CFA图像的目的。
参考：

https://blog.csdn.net/u013626386/article/details/47805303