计算摄影：噪声模型与噪声估计

噪声模型

sensor noise

在 camera ISP 流程中，有一个 denoise 的环节，一般在 demosaic 后面，噪声一般是 sensor 接收光子然后转化成 RAW 图的过程中产生的，环境中的光通过镜头模组照射到 sensor 上，因为光电效应，会激发很多电子，这些电子转成电流被一个模拟放大器放大，然后通过一个 ADC 模数转换，最后输出离散的照度值。

图一：ISP 流程，光照转换成电信号，经过模拟放大，AD 转换，然后得到 RAW 图，就是下图的绿框部分

在这个过程中，会有三个地方产生噪声：
photon noise and dark noise：由于光激发电子的随机性，会产生 photon noise，而 sensor 本身由于发热激发的暗电流也会产生噪声，这种噪声称为 dark noise 或者热噪声
read noise：模拟放大器在放大信号的时候，会产生噪声，这种噪声称为 read noise
ADC noise：模数转换器在进行模数转换的时候，会产生噪声，这种噪声称为 ADC noise

图2 光电转换，模拟放大，模数转换

photon noise 是和环境照度相关的一种噪声，假设环境照度为 Φ\PhiΦ，光电转换效率为 α\alphaα，曝光时间为 ttt，则 photon noise 满足如下分布：

n∼Poisson(Φ,α,t)=Poisson(Φ⋅α⋅t)n \sim Poisson(\Phi, \alpha, t) = Poisson(\Phi \cdot \alpha \cdot t) n∼Poisson(Φ,α,t)=Poisson(Φ⋅α⋅t)

dark noise 则和暗电流有关，和环境照度无关，曝光时间越长，电流导致 sensor 发热越大，产生的噪声也越多，假设暗电流强度为 DDD，曝光时间为 ttt, 则 dark noise 满足如下分布：

n∼Poisson(D⋅t)n \sim Poisson(D \cdot t)n∼Poisson(D⋅t)

poisson 分布是一种离散分布，满足如下的表达式：

N∼Poisson(λ)⇔P(N=k,λ)=λke−λk!N \sim Poisson(\lambda) \Leftrightarrow P(N=k, \lambda) = \frac{\lambda^{k}e^{-\lambda}}{k!} N∼Poisson(λ)⇔P(N=k,λ)=k!λke−λ

poisson 分布的均值和方差都是 λ\lambdaλ

图3 泊松分布的性质

为什么 photon noise 和 dark noise 是满足泊松分布的呢：

这是因为光子是粒子，是一份一份的，而且环境中的光线照射到 sensor 上的时候，激发出来的电子并不是一个恒定的数量，而是会有波动，比如这一秒有 100 个，下一秒可能只有 90 个，这种波动导致 sensor 上每个 pixel 产生的电子数并不一样，而是满足一定的统计分布，这种统计分布符合泊松分布，所以 photon noise 满足泊松分布。

dark noise 也是一样的，sensor 温度升高之后，由于热效应激发的电子数也不是恒定的，而是离散随机的，也满足一种泊松分布。

由于激发的电子数由环境光照和暗电流共同决定，所以这个过程激发的总电子数满足如下的分布：

L=Nphoton−detection+Nphantom−detectionL = N_{photon-detection} + N_{phantom-detection} L=Nphoton−detection+Nphantom−detection

Nphoton−detection∼Poisson(Φ⋅α⋅t)N_{photon-detection} \sim Poisson(\Phi \cdot \alpha \cdot t) Nphoton−detection∼Poisson(Φ⋅α⋅t)

Nphantom−detection∼Poisson(D⋅t)N_{phantom-detection} \sim Poisson(D \cdot t) Nphantom−detection∼Poisson(D⋅t)

L∼Poisson(t⋅(α⋅Φ+D))L \sim Poisson(t \cdot (\alpha \cdot \Phi + D ))L∼Poisson(t⋅(α⋅Φ+D))

光电转换之后，后面就是信号放大，利用一个模拟放大器，这个过程会引入 read noise，后面的 ADC 转换也会引入量化误差，产生噪声， read noise 和 ADC noise 都是加性噪声，并且都满足均值为 0 的高斯分布：

nread∼Normal(0,σread)nADC∼Normal(0,σADC)n_{read} \sim Normal(0, \sigma_{read}) \quad n_{ADC} \sim Normal(0, \sigma_{ADC}) nread∼Normal(0,σread)nADC∼Normal(0,σADC)

信号放大过程，就是把前面光电转换的电信号进行放大，放大系数是由电路系统本身决定的，也就是我们通常所说的 gain 值，这个值和 ISO 也有关系：

g=k⋅ISOg = k \cdot ISO g=k⋅ISO

前面的电信号 LLL 经过放大之后，可以表示为 G, 这个过程引入的 read noise 也会被放大：

G=L⋅g+nread⋅gG = L \cdot g + n_{read} \cdot g G=L⋅g+nread⋅g

再经过后面的 ADC 转换，可以表示为：

I=G+nADCI = G + n_{ADC} I=G+nADC

所以最后的信号可以表示为：

I=L⋅g+nread⋅g+nADCI = L \cdot g + n_{read} \cdot g + n_{ADC} I=L⋅g+nread⋅g+nADC

我们可以算出这个信号 III 的均值和方差分别为：

E(I)=g⋅E(L)+g⋅E(nread)+E(nADC)E(I) = g \cdot E(L) + g \cdot E(n_{read}) + E(n_{ADC}) E(I)=g⋅E(L)+g⋅E(nread)+E(nADC)

前面说过，因为 read noise 和 ADC noise 均值为 0，所以上面的表达式最后可以简化成：

E(I)=g⋅E(L)=g⋅t⋅(α⋅Φ+D)E(I) = g \cdot E(L) = g \cdot t \cdot (\alpha \cdot \Phi + D ) E(I)=g⋅E(L)=g⋅t⋅(α⋅Φ+D)

类似地，我们可以计算出信号 III 的方差：

σ(I)2=σ(L⋅g)2+σ(nread⋅g)2+σ(nADC)2\sigma(I)^2 = \sigma(L \cdot g)^2 + \sigma(n_{read} \cdot g)^2 + \sigma(n_{ADC})^2 σ(I)2=σ(L⋅g)2+σ(nread⋅g)2+σ(nADC)2

σ(I)2=g2⋅t⋅(α⋅Φ+D)+g2⋅σ(nread)2+σ(nADC)2\sigma(I)^2 = g^2 \cdot t \cdot (\alpha \cdot \Phi + D ) + g^2 \cdot \sigma(n_{read})^2 + \sigma(n_{ADC})^2 σ(I)2=g2⋅t⋅(α⋅Φ+D)+g2⋅σ(nread)2+σ(nADC)2

完整的过程如下所示：

图4 噪声模型及信号的均值，方差

因为 read noise 和 ADC noise 都是加性噪声，所以可以将两种噪声合并，进行化简：

I=L⋅g+naddnadd=nread⋅g+nADCI = L \cdot g + n_{add} \quad n_{add} = n_{read} \cdot g + n_{ADC} I=L⋅g+naddnadd=nread⋅g+nADC

则上面信号的方差可以表示为：

σ(I)2=g2⋅t⋅(α⋅Φ+D)+σ(nadd)2\sigma(I)^2 = g^2 \cdot t \cdot (\alpha \cdot \Phi + D ) + \sigma(n_{add})^2 σ(I)2=g2⋅t⋅(α⋅Φ+D)+σ(nadd)2

从上面的表达式可以看出

photon noise 与环境光照 Φ\PhiΦ 有关，光照越强，photon noise 占主导
dark noise 和 sensor 本身的热效应有关，曝光越长，dark noise 越大
read noise 和 ISO 有关，ISO 越高，read noise 越大
ADC noise 是 AD 本身的量化误差，和 ISO，环境亮度都没有关系

这几种噪声的关系总结如下：

图5 几种噪声的关系

一般来说，在光照充足的区域，photon noise 占主导，而光线不足的区域，add noise 占主导。

Noise calibration

为了进行降噪，需要对噪声模型的参数进行估计，上面噪声模型的参数包括暗电流 DDD，模拟放大系数 gain 值 ggg，以及 read noise nreadn_{read}nread 和 ADC noise nADCn_{ADC}nADC，根据上面信号的均值和方差，可以看出信号的均值和环境照度以及暗电流有关，如果环境照度为 0 ，则信号的均值就是和暗电流有关，通过这种方式，可以估计出 sensor 的暗电流产生的信号大小，所以估计暗电流，可以把相机镜头盖住，然后拍摄多帧图像，再进行平均，这样得到的平均值，就近似为暗电流的大小，不过注意这里还有一个 gain 值：

E(I)=g⋅t⋅(α⋅0+D)=g⋅t⋅DE(I) = g \cdot t \cdot (\alpha \cdot 0 + D ) = g \cdot t \cdot D E(I)=g⋅t⋅(α⋅0+D)=g⋅t⋅D

不同的 ISO，会有不同的 gain 值，估计暗电流，也需要考虑不同的 gain 值的影响。

一旦估计出暗电流，我们减去这部分信号，以消除暗电流的影响，剩下的就是估计模拟放大系数 gain 值，以及 read noise 和 ADC noise，这两者统称为加性噪声，可以表示为 add noise，一旦去除 D，信号的均值和方差可以表示为：

E(I)=g⋅t⋅(α⋅Φ)E(I) = g \cdot t \cdot (\alpha \cdot \Phi ) E(I)=g⋅t⋅(α⋅Φ)

σ(I)2=g2⋅t⋅(α⋅Φ)+σ(nadd)2\sigma(I)^2 = g^2 \cdot t \cdot (\alpha \cdot \Phi ) + \sigma(n_{add})^2 σ(I)2=g2⋅t⋅(α⋅Φ)+σ(nadd)2

σ(I)2=g⋅E(I)+σ(nadd)2\sigma(I)^2 = g \cdot E(I) + \sigma(n_{add})^2 σ(I)2=g⋅E(I)+σ(nadd)2

从上式可以看出，信号的方差和均值满足一个线性关系，放大倍数就是 ggg，而截距就是加性噪声，所以一般可以通过拍摄多帧灰度图像，然后计算每个像素点的均值和方差，再做一个线性拟合，来估计gain 值和加性噪声。

图6 噪声模型参数估计

最后，重要的一点是这些估计都应该在 RAW 域进行，因为 RAW 域的信号才与环境光照满足线性关系。而 photon noise 是光电效应本身的随机属性，这个是没有办法消除的。

参考文献：

https://zhuanlan.zhihu.com/p/39260257
CMU computation photograph 2019 lecture 6
http://graphics.cs.cmu.edu/courses/15-463/2019_fall/