CMOS图像传感器中的噪声来源分析

载流子的随机涨落是半导体器件中噪声的主要来源，噪声不仅会使成像质量恶化，同时也决定了图像传感器的灵敏度，因此在图像传感器中将噪声定义为所有使图像或“信号“恶化的波动，本文将以CMOS为例总结图像传感器中的噪声来源。

文章目录

CMOS图像传感器中的噪声来源分析
- 像素结构(Pixel Structure)
- - 微型透镜阵列(MicroLens)
  - 彩色滤光阵列(Color Filter Array)
  - 复位(Reset Operation)
  - 电荷检测(Charge Detection)
  - 满肼容量(Full-Well Capacity)
- 传感器的外设( Sensor Peripherals)
- - X-Y寻址(X-Y Address)
  - 读出电路(Readout circuits)
- 暗电流(Dark Current)
- 噪声(Noise)
- - 噪声的颜色
  - - 白噪声与有色噪声
    - 有色噪声与色噪
  - 复位噪声(Reset Noise)
  - 热噪声(Thermal Noise)
  - 读出噪声(Readout Noise)
  - $1 / f$ 噪声(1/f Noise)
  - - 长程相关性
  - 量化噪声(Quantization noise)
  - 列固定噪声(Column Fixed Pattern Noise)
  - 散粒噪声(Shot Noise)
- Summery
- Reference

像素结构(Pixel Structure)

以3T-APS(3 Transistor-Active Pixel Sensor)为例，CMOS中像素结构的细节进行说明 (CMOS图像传感器的像素可以看做是由一个光电二极管、光电二极管复位开关、信号放大器、输出电路组成)。APS可以实现在每个像素中都存一个独立的放大器，这个放大器就是一个简单的原极跟随其(Source Follower)，有源像素的优点之一是信号读出路径上产生和引入的噪声得到了抑制。

像素结构的立体图

像素结构的截面图

微型透镜阵列(MicroLens)

先进的制成工艺在减小像素尺寸和增加像素总数方面卓有成效，但传感器捕获光的能力(Light Sensitivity)随着像素尺寸的下降而减小。将像素中感光区域(Photosensitive Area)面积 $A_{pd}$ 与像素面积(Pixel Area) $A_{pix}$ 之间的比率定义为填充因子(Fill Factor)：
$FF=ApdApixFF=\frac{A_{pd} }{A_{pix} }$
从像素结构的截面图可以看出，如果不考虑微透镜对光线的汇聚作用，填充因子由遮光层(Light Shield)的开口面积决定，3T-APS中有三个晶体管(复位晶体管、源跟随器晶体管、行选择晶体管)，且这些晶体光需要被遮光层所覆盖，如果使用更多的晶体管，比如4T-APS、6-APS，遮光层的覆盖面积会增大，同时填充因子也会相应降低。为了更好地将光线汇聚到光电二极管上，一般选择在芯片上放置一个简单的片上微透镜阵列，可以有效地提高填充因子。除了增加灵敏度之外，微透镜还有助于减少传感器中的漏光，降低CCD和CMOS图像传感器中由于少数载流子扩散而造成的像素间的串扰(Cross Talk)。微型透镜对提高传感器的感光度起着非常重要的作用，但值得一提的是在入射光位置不同时，其从成像透镜到图像传感器的角度也不同，会导致镜头阴影(Lens Shading)产生。

微透镜对光的汇聚作用

微透镜导致镜头阴影

彩色滤光阵列(Color Filter Array)

图像传感器一般而言是单色传感器，对敏感波长范围内的光产生响应，对于消费领域内的图像传感器来说，可以在光敏二极管上覆盖彩色滤光阵列，用以实现色彩信息分离。最常用的彩色滤光模式为"Bayer Pattern"，由于人眼视觉系统主要从绿色光谱部分获得视觉细节，即是，视觉亮度差异与绿色有关，而颜色感知与红色和蓝色有关，因此，所以“Bayer Pattern”当中的绿色滤光器是红色或蓝色滤光器的两倍(或者说，绿色的采样率是红、蓝的两倍)。

复位(Reset Operation)

复位类似于清零的操作，如果是卷帘式曝光(Rolling Shutter)，需要在每行曝光之前或者信号读出之后进行复位。3T-APS CMOS的复位操作通常是通过给 $M_{RS}$ 栅极加高电平，电压为 $V_{dd}$ ，当复位信号有效时，复位管工作在饱和区，在复位管源端的光电二极管阴极节点电压将快速上升到 $V_{dd}-V_{th}$ ， $V_{th}$ 为阈值电压，此时复位管进入压阈值区，至慢慢关断。以上复位操作为软复位，由于完成复位需要的时间相对较长，容易出现复位不彻底，最终造成图像滞后(Image Lag)；相反，在硬复位中，栅极施加的电压大于 $V_{dd}$ ， $M_{RS}$ 始终高于阈值，就能够很快地完成复位动作，从而抑制图像滞后，但这种方式的 $k_{B}TC$ 噪声相对较大。
每行复位到读出的时间间隔即是每行的曝光时间。

3T-APS复位电路

电荷检测(Charge Detection)

CCD传感器在输出放大器中完成电荷检测，而CMOS传感器在像素中完成电荷检测，电压放大器连接势肼(Potential Well)以监测势肼电荷信号的变化，若有电荷 $Q_{sig}$ 进入肼中，会引起势肼电压(Potential Change)变化：
$△VPD=QsigCFD\bigtriangleup V_{PD}=\frac{Q_{sig} }{C_{FD} }$
其中$C_{FD} $为放大器所连接到势肼的电容，并充当电荷到电压的转化电容，输出电压的变化如下：
$△Vout=AV△VFD\bigtriangleup V_{out}=A_{V}\bigtriangleup V_{FD}$
$A_{V} $是电压放大器的增益。

电荷检测电路

满肼容量(Full-Well Capacity)

光电二极管工作在电荷积分(Charge-Integrating)模式下，势肼只有有限的电荷储存能力，光电二极管的电容能够积累的最大电荷量为“满肼容量”：
$Nsat=1q∫VresetVmaxCPD(V).dV[electrons]N_{sat}=\frac{1}{q}\int_{V_{reset} }^{V_{max}}C_{PD}(V).dV[electrons]$
满肼容量决定了传感器动态范围的上限

传感器的外设( Sensor Peripherals)

X-Y寻址(X-Y Address)

在大多数CMOS图像传感器中，信号电荷在像素中被有源晶体管转化为电压或者电流，最终的视频信号是通过行、列扫描器对像素阵列进行光栅扫描获得的。一般情况下，行扫描器在每帧时间内产生一个行选择信号和一个复位脉冲并送入选定行的像素中，列扫描器在每个行周期扫描各列。正如“X-Y地址”的字面意思，像素信号是通过垂直扫描器(移位寄存器或者解码器)选通一行(Y)读出以及水平扫描器选通一列(X)读出的方式进行寻址。CMOS中两种常见的行扫描器是移位寄存器和解码器。CCD、CMOS图像传感器都是电荷积分型传感器，像素中的信号电荷在电荷积分开始前应当被复位，而不同的扫描方案导致了工作时序的不同，在CCD传感器中，电荷复位是通过垂直电荷转移电路当中实现的，这个过程在整个像素阵列中是同时发生的，而大多数CMOS图像传感器中，复位和信号读出是逐行进行的。CCD将光生电荷转移到CCD寄存器后端的电荷检测器放大，使得所有信号均通过同样的放大器读出，因此，放大器的失调保持恒定；而CMOS图像传感器一般在列输出线上有一个列放大器(Column Amplifier)，列放大器之间存在的差异，往往会造成图像的列固定噪声(Column Fixed Pattern Noise)。

CMOS图像传感器结构

读出电路(Readout circuits)

在大多数CMOS图像传感器中，同一行的像素被同时读出然后并行处理是非常流行的读出电路结构，同一行的像素的光电二极管所产生的电压同时被光电二极管所接的源跟随器读出然后并行处理，处理后的信号被存储在一个行存储器中，并按顺序读出，电荷积分时间逐行出现偏移。在这种结构中，一个像素只需要一个行选择脉冲，从而减少了用于传输像素控制脉冲的总线数量。最常见的读出结构中有源极跟随器→相关双采样(CDS)→列放大器(模拟放大)→ADC。

暗电流(Dark Current)

暗电流是在镜头无光线透过的条件下观测到的电流，是传感器成像过程中的一种非理想因素，暗电流会积分成为暗电荷并存储在势肼当中，同时暗电荷还是温度的函数，暗电荷的数量与积分时间成正比：
$Ndark=Qdarkq=Idark⋅tqN_{dark}=\frac{Q_{dark}}{q}=\frac{I_{dark}\cdot t}{q}$
其中 $q$ 为基元电荷， $t$ 为积分时间。暗电流对传感器成像质量的最显著的影响是降低了图像传感器成像的动态范围(Dynamic Range)，和势肼容量不同的是，暗电流决定的是图像传感器动态范围的下限，将图像传感器的动态范围做如下定义：
$DR=20log10(SmaxSmin)(dB)DR=20log_{10}(\frac{S_{max}}{S_{min}})(dB)$

$S_{max}$ 由满肼容量决定， $S_{min}$ 由暗电流决定(Represents the Minimum Temporal Noise Value at Zero Exposure)。光电二极管中的暗电流有如下几个来源：

暗电流类型	依赖关系	描述
扩散电流	$∝exp(−EgkBT)\propto exp(-\frac{E_{g} }{k_{B}T } )$	随温度上升而指数增加；对偏置电压的依赖性比较弱，主要依赖偏置电压的平方根
生产-复合电流	$∝Vexp(−Eg2kBT)\propto \sqrt{V} exp(-\frac{E_{g} }{2k_{B}T } )$	随耗尽层宽度和本征载流子浓度的增加而增加；随载流子在深能级复合中心的寿命的增加而减少
带带隧穿电流	$∝V2exp(−aV)\propto V^{2}exp(-\frac{a}{V} )$	与偏置电压呈指数关系(当掺杂浓度很大时，由于耗尽层宽度变薄而导致隧穿效应的反正)
缺陷辅助隧穿电流	$∝exp(−a′V)2\propto exp(-\frac{a^{'} }{V} )^{2}$	与偏置电压呈指数关系
碰撞电离电流	$a∝exp(−bV)a\propto exp(-\frac{b}{V} )$	随着偏置电压增加，碰撞电离和雪崩击穿会引起暗电流的增加；电离系数随着偏置电压的增加而指数增加
Frankel-Poole	$∝Vexp(−cT)\propto Vexp(-\frac{c}{T} )$	Frankel-Poole电流是由于被俘获电子发射到导带而形成的，和隧穿电流一样，在很大程度上依赖于偏置电压
表面漏电流	$∝exp(−Eg2kBT)\propto exp(-\frac{E_{g} }{2k_{B}T } )$	随本征载流子浓度、表面复合速率、表面积的增加而增加

其中 $E_{g}$ 为禁带宽度(Bandgap)； $k_{B}$ 为玻尔兹曼常数； $T$ 为热力学温度； $V$ 为偏置电压。总的来说，暗电流依赖于温度和偏置电压。在后续的ISP处理当中，一般会通过标定暗电流的方式，来实现对传感器中的暗电流的补偿，但这种黑电平补偿的方式有隐含地假设传感器当中的暗电流对于每个像素而言是相同的，也就是黑电平(Black Level)均匀，如果传感器附件存在一个局部热源，温度的变化将导致像素阵列中的暗电流的梯度变化，也就是非均匀的阴影(Shading)，需要在后续的阴影校正模块进行进一步的校正。同时，在CMOS传感器中，偏置电压与接地电压的非一致性也会导致阴影。

噪声(Noise)

在前面，总结了像素的结构及其外设，并回顾了暗电流及其对动态范围和阴影的影响，接下来将总结传感器成像过程中由传感器内部电路及其外设引起的几种噪声。

噪声的颜色

在讨论噪声种类之前，需要了解白噪声(White Noise)、有色噪声(Colored Noise)、色噪(Chromatic Noise)之间的关系。

白噪声与有色噪声

这是就噪声信号的功率谱密度而言，如果噪声信号的功率谱密度接近均匀分布，此噪声即为白噪声，包括热噪声、散粒噪声等；如果噪声信号的功率谱密度是非均匀的，此噪声即为有色噪声，包括布朗噪声、红噪声、粉红噪声等。

有色噪声与色噪

一般将色噪定义为低频噪声，同时也可以将色噪看做是图像在空域中具有一定自相关性的噪声。在图像当中常表现为彩色斑块，通常呈红、蓝色，尤其是在底图像质量的暗区。在ISP及其后处理过程中，色噪主要有两个来源，一个是传感器采集到的Raw数据当中的有色噪声，即 $1 / f$ 噪声，一个是Raw数据当中原本的白噪声，经过Bayer域的降噪之后，噪声的功率谱密度将不再呈均匀分布，变为以中低频为主，且降噪模块会引入噪声的相关性，原本Raw数据当中的白噪声将变为色噪。所以，有色噪声和色噪之间基本共通。

色噪示意图

复位噪声(Reset Noise)

当电容被复位时，MOS开关关断，导通的MOS管可以看做是一个电阻，就会产生的热噪声，噪声电荷如下：
$q_{n}=C^{2}.v_{n}^{2}=k_{B}TC$

噪声电荷仅与温度和电容值有关，因此也称 $k_{B}TC$ 噪声。

热噪声(Thermal Noise)

在负载电阻中，自由电子存在随机热运动，将引起电阻两端电压的波动，即为热噪声，将热噪声的功率谱密度用电压表示为：
$S_{v}(f)=4k_{B}TR(V^{2}/Hz)$
其中 $R$ 为电阻，可以看出热噪声的功率谱密度在所有频率上恒定，为白噪声。在CMOS传感器中，热噪声常以 $k_{B}TC$ 噪声的形式出现。

读出噪声(Readout Noise)

在传感器读出电路中产生的噪声，由读出电路及像素内部的放大器决定，主要表现为热噪声和 $1 / f$ 噪声两种噪声形式。

$1 / f$ 噪声(1/f Noise)

$1 / f$ 噪声又称Flicker Noise、Fractal Noise、Pink Noise， $1 / f$ 噪声的一个形成原因是硅晶体和氧化层界面处存在悬空键，当载流子流过的时候就有可能被随机地捕获，从而在漏电流中形成噪声。 $1 / f$ 的功率谱密度和 $1/fγ1/f^{\gamma }$ 成比例，其中 $γ\gamma$ 大约在0.8~1.3的范围内，噪声表达式如下：
$Vn2ˉ=KCoxWL1fγ\bar{V_{n}^{2}}=\frac{K}{C_{ox}WL}\frac{1}{f^{\gamma}}$
其中 $K$ 是由工艺决定的噪声系数； $C_{ox}$ 为单位面积的栅电容； $W 、 L$ 分别为栅的宽、高。从上式可以看出，与悬空键相关的捕获-释放现象在低频下更容易发生，另外增加器件的沟道面积也可以减小 $1 / f$ 噪声。

目前对 $1 / f$ 噪声的研究主要依托于两个物理模型，一个是表面载流子数涨落模型，一个是迁移率涨落模型。但时至今日，学界依旧没能给出一个统一的理论来解释 $1 / f$ 噪声的形成机制，对于以上两个物理模型的具体解释，可以参考论文[1、8、11]。就图像处理的噪声分析而言，比较重要的是认识到 $1 / f$ 噪声的功率谱密度的形状及 $1 / f$ 噪声的长程相关性。

长程相关性

设 ${X_{1},X_{2},X_{3},...}$ 是时间序列，则 $X_{i}$ 与 $X_{j}$ 之间的自相关函数为：
$ρ=E(Xi−u)(Xj−u)σ2=E(Xt−u)(Et+k−u)σ2,k=∣j−i∣\rho = \frac{E{(X_{i}-u)(X_{j}-u)}}{\sigma^{2}}=\frac{E{(X_{t}-u)(E_{t+k}-u)}}{\sigma^{2}},k=\left |j-i \right |$
理想的情况下，白噪声仅与自身相关，及当且仅到 $i = j$ 时， $ρ≠0\rho\neq0$ ；但 $1 / f$ 噪声具有长程相关性，即是当 $k$ 足够大时， $ρ≠0\rho\neq0$ ，自相关函数呈双曲线衰减，当 $k$ 趋向与无穷时：
$ρ=cρ∣k∣1−α,k→∞\rho=\frac{c_{\rho}}{\left |k \right |^{1-\alpha}},k\to \infty$
其中 $α,cρ\alpha,c_{\rho}$ 为正常数。自相关性是 $t$ 时刻的随机变量能持续多长时间的度量，反应随机变量在不同时刻之间的相关性，因此图像当中的 $1 / f$ 噪声具有空间相关性，常以斑状的形态出现在图像当中。

量化噪声(Quantization noise)

光生电荷经放大器放大之后，需再经过 $A / D$ 转换将模拟信号转换为一组离散的数字信号，由信号在量化的过程中引入的误差即为量化噪声，特别是当 $A / D$ 转换后的比特位宽很小，比如 $8 b i t$ 时，量化噪声会显著增大，一般来说，对于同一个模拟信号， $A / D$ 转换后的 $b i t$ 位宽越小，量化噪声越大，即有：
$NL_{8bit}>NL_{10bit}>NL_{12bit}……$
另外值得注意的是，量化噪声决定了图像传感器中模拟增益引入的噪声小于数字增益引入的噪声这一事实，因为模拟增益是在模拟电路中对像素输出的电信号进行放大，而数字增益是对电信号进行 $A / D$ 转换后把数字信号进行放大， $A / D$ 转换之后的数字信号当中包含量化过程中产生的量化噪声，也会被数字增益放大。

列固定噪声(Column Fixed Pattern Noise)

由上述"X-Y寻址电路"及“列放大器”可知，一般的CMOS对像素中的电信号是通过"X-Y寻址电路"逐行读出的，读出电路会在每一列像素放置一个通用的列放大器，列放大器之间本身存在的工艺差异，造成了图像列输出信号之间的不一致，从而产生列固定噪声，这种噪声可以用暗信号的非均匀性进行评估并加以补偿。同时列固定噪声不仅在暗光条件下存在，在强光照下也存在，可以用光响应的非均匀性进行评估并加以补偿，下图为常见的列固定噪声：

散粒噪声(Shot Noise)

散粒噪声是各类光电成像器件中由光电发射过程产生的具有Poisson分布的的噪声，带电粒子发射或随机地穿过势垒时，每瞬间的粒子数量不稳定，而是围绕其均值起伏的随机过程，这一随机过程吻合Poisson分布，光子或电子在给定时间间隔内发射的概率可以表示为：
$PN=(Nˉ)N.e−NN!P_{N}=\frac{(\bar{N} )^{N}.e^{-N} }{N!}$
其中 $Nˉ、N\bar{N}、N$ 分别表示均值和粒子数量。和热噪声一样，Poisson噪声的功率谱密度在所有频率上恒定，也是白噪声。值得注意的是光电发射过程和暗电流都会产生散粒噪声，分别为Photon Shot Noise和Dark Current Shot Noise。

Summery

总的来说，图像传感器中的噪声主要有白噪声，包括热噪声、复位噪声、散粒噪声、量化噪声；有色噪声，包括在复位、读出、电荷积分过程中都会产生的 $1 / f$ 噪声；固定噪声，包括暗电流、列固定噪声。

Reference

[1]：《Image Sensors And Signal Processing For Digital Still Cameras》

[2]：《Image Processing For Embedded Devices》

[3]：《A CMOS Imager Pixel Based Temperature Sensor For Dark Current Compensation》

[4]：《A Review of Published Research on Low Frequency Noise and its Effects》

[5]：《CCD or CMOS camera noise characterisation》

[6]：《Characterization of Noise in Digital Photographs for Image Processing》

[7]：《CMOS image sensors State-of-the-art》

[8]：《Flicker Noise》

[9]：《Photon,Poison Noise》

[10]：《Research on Noise Sources in CMOS Image Sensors》

[11]：《Analysis of 1/f noise in CMOS APS》