CMOS图像传感器基础

一、概述

图像传感器是把光学图像信息转换成电信号的器件。图像传感器是随着电视技术在20世纪30年代发展起来的，早期图像传感器技术的最重要贡献在于建立了扫描（Scan）的概念，用扫描的方法把二维空间平面上的光电信息离散成行（Line）和帧（Frame），然后按空间顺序读出形成在一维时间轴上变化的电信号。这个一维的电信号经过存储和传输，再用扫描的方式还原重建二维平面图像。扫描概念一直被沿用至今。

1968-1969年就有论文设想在硅光电二极管上集成晶体管有源器件实现有源像素，然后用常规的电子电路方式转换读出像素阵列上的图像信息。但是当时半导体集成电路技术还在起步阶段，难以实现这样复杂精细的工艺。经过20世纪80年代发展，互补金属氧化物半导体CMOS技术得到飞速进步，CMOS集成电路不但在集成规模上进入超大规模阶段，而且在模拟和数字集成电路技术两个方面都日臻精良完善。早期的有源像素设想，终于在20世纪90年代实现CMOS图像传感器上。。经过几十年的改进和发展，借助CMOS微电子工艺的不断进步，CMOS图像传感器已经成为图像传感器领域的主流技术，并且极大地推动了数字图像技术在当今世界上的飞速发展。

CMOS图像传感器最重要的特点就是在像素阵列中采用了有源像素传感器（Active Pixel Sensor，APS）。APS像素上集成了光电二极管（PD）、有源的晶体管开关和放大电路，通过这些有源电路在每个像素上已经完成了电荷-电压的转换，并放大成有驱动能力的信号电压。然后用常规的电子电路方法把像素信号切换到传感器外面，实现图像信号的扫描输出。

CMOS图像传感器的第二个重要的特点是用CMOS集成半导体工艺构成和制造。不但与像素阵列相关的结构都能被轻易地集成在单一硅片上，而且可以集成其他CMOS模拟和数字电路。一般最基本的CMOS图像传感器芯片还都包含了信号的宽带放大和模数转换器电路，使芯片可以从引脚上直接输出数字图像数据。高度集成不但能减少整机上的芯片数量，降低整机功耗和封装成本，而且芯片内部的直接信号连接有利于提高信号传输的质量和速度，从而提高了转换图像的质量。

二、CMOS图像传感器系统

1、CMOS 传感器基本结构

2、光电转换概述

当光子入射到半导体材料中，光子被吸收而激发产生电子–空穴对，称为光生载流子，如图2.3（a）所示。量子效率（Quantum Efficiency，QE）被定义为产生光生载流子的光子数占总入射光子数的百分比；或者被定义为η ，即每个入射光子激发出来的光生载流子数。

式中，Ne为被激发出来的电子数；Nv为入射的光子数。不同的半导体材料对入射光的响应随其波长而变化，对于硅材料而言波长覆盖整个可见光范围，截止在约1.12μm的近红外波长。

光电信号的噪声水平决定了能检测到的最小光功率，即光电转换的灵敏度。硅光电传感器的噪声构成包括：

来源于信号和背景的散粒噪声（shot noise）；
闪烁噪声（flicker noise），即1/f 噪声；
来源于电荷载流子热扰动的热噪声（thermal noise）。

当入射光子照射在半导体材料的PN结上，如果在PN结上施加电压使光生载流子形成电流，产生如图所示的I-V 特性曲线。曲线上V＞0的正向偏置一段被称为太阳能电池模式；PN结反向偏置V＜0的平直一段曲线，被称为光电二极管模式；I-V特性的反向击穿段被称为雪崩模式。通常在图像传感器中，光电转换元件工作在光电二极管模式。图中PN结的反向电流Ileak为Ileak＝Iph＋Idiff。式中，Iph为光生流子产生的电流；Idiff为扩散电流。在完全没有光照的情况下Iph＝0，Ileak＝Idiff，被称为暗电流或者漏电流。

在通常的CMOS图像传感器中，光电转换的速度还不是需要特别加以考虑的因素。但是在某些高速摄影应用中，或者某些潜在的未来超高速图像转换应用中，会考虑到光电转换速度的问题。在CMOS图像传感器中，对响应速度影响最大的将是少数载流子的扩散时间。

3、基本结构

一个典型的CMOS图像传感器结构如下图所示。这个结构包括由有源像素传感器（APS）构成的像素阵列（pixel array）、垂直扫描电路（vertical scan）、每一列像素共享的列读出通道和列选择开关、模拟图像信号放大器、模数转换器和图像数据输出等。控制器控制各个图像信息获取部件，进行所需要的曝光-读出同步操作。控制数据一般由外部通过串行数据输入端口（如IIC、SPI）输入，并存储在控制数据存储器中。

CMOS图像传感器的像素为有源像素传感器APS，每个像素中有一个光电二极管作为基本的光电转换元件。在每个像素中还包括由若干个MOS晶体管有源器件组成的电路，把光子在光电二极管PN结上激发的载流子电荷信号转换成电压信号，并由模拟开关控制光电二极管的曝光操作和信号输出。在大多数阵列设计中，像素几何形状采取正方形，像素在阵列中正交排列。水平排列的像素构成行（Row），每行由M 个像素组成，垂直方向的像素构成列（Column），整个阵列由M列和N行像素构成，阵列的总像素数为M×N。

像素阵列的主要操作就是曝光和读出，因为阵列中一般的曝光和读出是按行进行的，所以垂直扫描实际上就是实现按行操作阵列的曝光和读出。水平扫描操作实际上是当某一行执行读出时，顺序扫描读出这一行中的每个像素的信号，水平扫描是由列模拟开关依次开启来执行的。垂直和水平扫描系统就是用于按行和列顺序，控制和操作整个阵列的曝光和读出。

阵列中每一列的像素共享一个列读出通道，在有M列像素的阵列中有M个完全相同的通道电路，对信号进行放大和模拟处理，以获取和改善一列像素的图像信号。经过列选择的图像信号通过可变增益的宽带模拟放大器，然后输入到高速模拟数字转换电路。模拟图像信号在模数转换电路上变换成数字图像数据，以串行或并行格式输出到集成电路芯片的引脚上。

4、APS介绍

像素中光电二极管的受光照射面积是决定像素的光电转换效率的主要因素。光电二极管PD的实际受光面积APD与像素总面积Apix的比例称为填充系数（Fill Factor，FF），用于表达不同像素版图由于面积比例而产生的光照效率：FF＝APD/Apix 。式中，像素面积为Apix＝Wpix·Hpix 式中，Wpix为像素宽度；Hpix为像素高度，即像素包含的面积。在大多数像素设计中Wpix＝Hpix，像素形状采用正方形。

电路中像素上所有的晶体管 都采用N型MOSFET管，并与光电二极管共享N＋扩散有源区，当今大多数CMOS图像传感器设计都采用这样的结构。
实际上像素中的重置开关和选择开关传递的都是正电压，单纯从场效应晶体管的导通特性来看，这两个开关应该都使用P型的MOSFET更为合理。但如果在电路中引入了P型MOSFET，版图上必须安排N阱。而N阱设计规则要求周边与N型的光电二极管PD保持较大的空间距离，这将导致像素上光电二极管面积的减小，从而降低了像素的填充系数FF。
在像素总面积足够大的阵列中，能容忍光电二极管面积减小的条件下，可以考虑这两个开关管采用P型MOSFET，以改善导通特性获得更好的电性能。

（1）3T-APS

最简单的也是最基本的有源像素传感器（APS）由三个晶体管和一个光电二极管构成，用英文缩写3T-APS表示。这种像素的电路如图所示，其中Trst是重置开关晶体管，Tsf是源极跟随器，Tsel是选择开关晶体管，以及作为光电转换用的光电二极管PD。

在曝光开始的时候，通过重置信号（Reset）开启重置开关Trst，把光电二极管PD反向偏置到重置电压Vrst上。这个电压对PD的PN结电容充电，充电的电荷量Qrst为Qrst＝CPD·Vrst ，式中，CPD为光电二极管的PN结电容。当Trst完成充电后关闭，光电二极管PD结点成为悬浮状态，当入射光强度Iph＝0时，电压Vrst和Qrst都保持在电容CPD上。当二极管PN结上有入射光Iph照射时，光量子激发在PN结上产生电子-空穴对，使PN结电容上的电荷发生复合，电容上的电荷量QPD开始从Qrst值下降。在受不同光照强度Iph照射的光电二极管上，电荷量下降的速率不同。光电二极管上的电压为VPD＝QPD/CPD。

经过源极跟随器Tsf，二极管电压VPD转换成输出电压Vout。图中光电二极管在不同光照强度Iph1＜Iph2＜Iph3照射下，经过相同曝光时间Texp后，较高光照下产生较多数量的光生载流子，被符合后的QPD电荷量更低，所以有QPD1＞QPD2＞QPD3，使PD电压有VPD1＞VPD2＞VPD3。经过源极跟随器输出不同的电压值VO1＞VO2＞VO3，这里源极跟随器的电压增益略小于1。

从重置信号（Reset）结束，到选择信号（Select）开始之间的时间为像素的曝光时间Texp。

（2）4T-APS

为了使APS像素在提高光电二极管面积的同时，提高输出模拟信号电压以提高信号电压的信噪比，4T-APS像素在3T-APS像素的结构基础上，增加一个传输门TX和一个悬浮的N型扩散（Floating Diffusion，FD），FD在P衬底上形成的PN结电容，成为第二个电荷存储器件。

这个像素在重置期间，同时开启重置开关Trst和传输门TX，使PD电容CPD和FD电容CFD都充电到Vrst电压上来。经过曝光时间完成曝光后，第二次开启传输门TX，使聚集在光电二极管PD的悬浮反型层下面的电荷，传输到悬浮的N型扩散区FD，并在TX关闭后保持在FD电容上，形成电压VFD。VFD通过源极跟随器输出电压Voutput，经由选择开关Tsel控制读出。

5、芯片封装

CMOS图像传感器一般采用标准的集成电路芯片封装，floor plan如下图

在外壳的传感器阵列上方，制作一个光学玻璃窗口，使被摄物体的光学图像经过透镜聚焦，成像在芯片的像素阵列平面上。在这里，透镜系统的光学中轴线，必须对准传感器阵列平面的几何中心，并与成像平面精密垂直。

工作原理

一、像素阵列结构

一般像素阵列是由水平方向的行（ Row ）和垂直方向的列（Column）正交排列构成的。像素排列的最基本设计原则是：摄像器件像素排列的坐标，必须在显示的时候能够准确地还原在图像原来的相对位置上。在大多数情况下，每个像素中心线在行的方向和列的方向，即垂直和水平两个方向的步距（Pitch）是相等的。为了充分利用像素阵列的面积，通常像素的高度Hpix和宽度Wpix尺寸分别与像素的垂直步距Prow和水平步距Pcol相等，即像素之间在垂直和水平方向都不留空隙。所以在水平和垂直两个方向步距相同的阵列中，像素形状也应该是正方形的。

阵列中列数M和行数N决定了图像的分辨率，总有效像素数NP为
NP＝M·N
在这样的一个阵列中，列数与行数之比决定了图像的宽长比Aspect：
Aspect＝M·Pitch/N·Pitch＝M/N

阵列中每一行像素共享一组重置（Reset）和选择（Select）控制。如果是4T-APS像素阵列，传输控制TX也是每一行共享的。像素阵列的曝光过程是以像素重置作为开始的，而选择输出将作为曝光结束，并等待下一次曝光即下一次重置开始的。在这个结构中，每行像素执行相同的重置、传输和选择操作，即每一行像素共享这些控制信号的曝光-读出时序，即在整个阵列中曝光是按行开始和结束的。在阵列的垂直方向，每一列像素共享一个列输出总线，并最终连接到一个
恒流源，作为这一列每个像素中源极跟随器Tsf的共享负载。在整个像素阵列中，由时序控制同时只有一行像素被选择输出，所以从每一列输出总线上同时输出的就是这一被选中行的每个像素的信号。在整个阵列中所有的电源是连接在一起的，在一列中共享一根电源线，如果有单独的重置电源Vrst或VT5之类的辅助电源，也将在整个阵列上分别连接在一起。

二、电子快门曝光

CMOS图像传感器用电子快门控制曝光，相同结构阵列的不同工作方式和时序，可以产生不同的电子快门方式。这里讨论最常见的滚动快门和全局快门曝光方式。

1、滚动快门曝光

滚动快门（Rolling Shutter）曝光是CMOS图像传感器阵列最基本的工作方式之一。如前所述图像阵列的重置、传输和选择是按行操作的，在滚动快门曝光的开始，每一行的重置控制信号Reset（0）、Reset（1）、Reset（2）、…、Reset（N-1），依次间隔相同的Trow时间，开启重置执行曝光开始操作，直到阵列所有的行都开始曝光。

像素阵列在滚动模式下可以实现连续曝光，条件是曝光时间Texp必须小于帧周期时间Tframe，否则无法完成整帧的曝光过程。但是因为曝光的开始和结束都是滚动的，相邻行间隔时间Trow都是相同的，所以只要某一行曝光已经结束，这一行就可以重置开始下一帧画面操作，而不必等待阵列中所有行的像素都完成曝光和读出的全部操作。

在滚动曝光控制中，相邻行曝光之间的Trow间隔是十分必要的，因为每行有M 个像素，每单个像素需要一定的读出时间Tpix，只有在Trow＞M·Tpix的情况下，才能完全正确读出每行所有像素的信号。这是因为阵列中每一列的像素共享一个列读出通道，

2、全局快门曝光

滚动快门曝光在拍摄物体运动图像和有闪光图像时，会产生被摄图像的运动失真和闪光失真，尤其在静止图像摄影中，快门失真会令人难以容忍。在滚动快门曝光的图像上，每一行都是在不同时间点开始和结束曝光的。如果被摄物体在曝光过程中高速运动，整幅图像在完成曝光的过程中，目标物体已经发生位移。先曝光的画面部分与后曝光的同一画面部分在不同的相对空间位置上了，使成像的物体形状产生失真。在拍摄有闪光画面时，如果闪光发生的时间与一幅图像的曝光时间可比，可能在一帧图像曝光过程中，闪光发生了从发生、增强、达到最高、降低和消失的过程。这样一来，不同时间曝光的画面部分，被光照射的强度也不相同，造成画面的闪光失真。。CMOS图像传感器的电子快门，可以使用全局快门（Global Shutter）曝光的方法，解决运动和闪光失真的问题。

在CMOS图像传感器上实现全局快门曝光，可以充分利用APS像素传感器阵列的有源电路特点。4T-APS可以用全局快门时序来控制曝光。全局快门的曝光过程，就是将整个阵列的像素同时开始曝光，然后同时结束曝光；曝光完成后把每个像素捕获的光电信号同时存储在各自的悬浮扩散区FD中，然后用类似滚动快门的读出方法滚动选择读出。这里所讨论的全局快门曝光方法，是建立在像素信息存储在悬浮扩散区FD中的基础上，保证全阵列像素相同的曝光开始和结束时间。

在全局快门曝光的时序中，阵列中所有像素的重置同时开启，开始阵列像素的曝光操作；经过曝光时间Texp后，全阵列像素的传输门同时第二次开启使曝光结束，所有光电二极管中的光生电荷传输到各自像素的悬浮扩散区FD，然后滚动逐行开启每一行像素的选择开关Select，依次读出每一行的信号电压。在滚动读出的过程中，尚未读出的信号存储在各自像素的CFD中，等待滚动选择读出。因为读出时所有传输门都已经关闭，光电二极管上的电荷变化不会再影响输出结果。

两种快门曝光方式的另外一个不同之处在于：滚动快门的曝光-读出操作是按行执行的，因此 曝光时间也是以行时间Trow的整数倍计算的，且最小曝光时间为一倍的Trow。而全局快门曝光因为是阵列上所有的像素同时开始和结束曝光， Trow时间只会限制滚动读出的速度，曝光时间则可以几乎完全自由设定。

三、读出电路

1、固定图案噪声

任何一种在传感器阵列平面上转换光电信号的技术方案，都会遭遇到转换阵列平面制造不均匀而产生的固定图案噪声（Fixed Pattern Noise，FPN）问题，尽管不同方案的转换阵列平面产生这种噪声的机理并不完全相同。

由于固定图案噪声的影响，在没有光信号照射的情况下，传感器阵列也会输出一个固定不变的图案信号；而在有光学图像照射的情况下，这个固定图案信号会叠加在真实的图像信号上面。

采用APS有源像素的CMOS图像传感器阵列，固定图案噪声的来源有：

有源晶体管开启电压Vth不一致；
重置开关导通电阻Ron不一致；
由导通电阻的不一致引起热噪声kBTRon不一致；
光电二极管的暗电流Idark不一致；
列选择开关和列处理电路参数的不一致。

采用APS像素的传感器阵列因为有源器件数量多，产生参数偏差的情况更为复杂，与只有一个光电二极管的无源像素（PPS）阵列方案相比，固定图案噪声值也更高。幸好CMOS图像传感器的技术优势帮助弥补了这个问题：在传感器阵列芯片上同时集成CMOS模拟和数字电路，用以修正叠加在有用图像信号上的固定图案噪声偏差。其中最常用的和证明有效的模拟信号处理方法，就
是采用相关双采样电路（CDS）。

2、相关双采样

相关双取样（Correlated Double Sampling，CDS）电路不是直接测量阵列中每个像素曝光完成后的输出电压，而是在每个像素曝光过程中测量两次输出电压：

第一次测量在曝光的开始时刻取样；
第二次测量在曝光的结束时刻取样。

相关双取样电路输出的是这两次取样测量的电压差值。

VCDS＝VO2-VO1
式中，VO1是第一次取样得到的曝光开始时刻像素的输出电压值，它作为第二次取样输出电压的相关值；VO2是第二次取样得到的曝光结束时刻像素的输出电压值，两次取样的过程被称为相关双采样。阵列中每个像素两次取样测量中的偏差值将被抵消。从而修正了整幅图像信号的固定图案噪声（FPN）误差。

以4T-APS像素为例，一般采用差分电路读出，结构如下图

下图为为这个电路的工作过程和控制时序，在TX第二次开启之前，列通道电路的S1开启，实现第一次取样，测量到的电压VO1就是保持在悬浮二极管FD上的重置电压VO1＝VFD1＝Vrst，这个电压保持在电容CS1上。在TX第二次开启之后，悬浮二极管FD上存储曝光终点电压VFD2，然后CDS读出电路进行第二次取样，开关S2开启对VFD2取样，并保持在电容CS2上形成VO2。最后SCDS开启把保持在电
容上的VO1和VO2同时输入到差分放大器，输出：VCDS＝VO2-VO1＝VFD2-VFD1＝VFD2-Vrst 。在两次取样的时间内，行选择信号Select保持开启，使CDS读出电路完成相关双取样运算过程。在4T-APS像素阵列的曝光操作中，曝光时间为两次传输门TX开启之间的时间间隔。

3、读出速率

一幅图像中的每一个像素的模拟电压信息，从被选择的行和被选择的列，按顺序读出到模拟放大器。在这一段模拟电压的传输、转换和处理时间定义为像素的模拟读出时间Tpix。这一时间的数值，受行像素选择开关Select（）x）的速度、列共享输出总线长度的分布电容、列通道的带宽、CDS采样电路的时序、列选择开关Sc（）x）的速度和模拟放大器的带宽等因素影响。受器件和电路性能参数的制约，像素信号读出时间Tpix大约是在10到数十纳秒之间。这样的信息传输速度对于高刷新率和高清晰度图像是远远不能满足要求的，所以从最初设计的CMOS图像传感器开始，就采用了多列像素信号并行输出模式。即在同样的Tpix时间延迟下，并行读出Ncol列的像素信号。列并行读出的像素读出速率（Pixel Readout Ratio，PRR）为PRR＝Ncol/Tpix，从最早期设计的CMOS图像传感器Ncol＝2，当前数字影院摄像器件已经达到Ncol＝100数量级。

提高像素阵列的图像读出并行列数，对于提高图像的帧刷新率和清晰度是至关重要的。一帧像素阵列的读出时间Tframe为：Tframe＝（M·N）/PRR＝NP/PRR。式中，M 为像素阵列的列数；N为行数；NP为阵列总像素数。对于连续图像，阵列刷新率（Frame Fresh Ratio，FFR）为：FFR＝1/Tframe＝PRR/NP。

在CMOS图像传感器集成电路上，并行列输出的像素模拟信号，通过集成在同一芯片上的Ncol组模数转换器（ADC）转换成数字信号，然后利用先进的高速并行数据传输标准，输出数字图像数据到芯片引脚上。表4.2列出像素阵列的刷新率、像素读出速率和图像阵列的并行像素列数。在高清晰度和高刷新率要求下，只有高并行像素列数NPC，才能传输和处理高达吉比特每秒（Gb/s）的图像信号数据率。

4、并行读出

早期CMOS图像传感器上最简单的并行列读出结构是由两组构成的，采用由奇数列和偶数列两路并行输出的方式。如图所示，列模拟开关S（0）、S（2）、S（4）、…，选择阵列的偶数列像素信号输入模拟放大器Amp 0，然后经模数转换器ADC 0变换成偶数列数据输出；列模拟开关S（1）、S（3）、S（5）、…，选择阵列的奇数列像素信号输入模拟放大器Amp1，然后经模数转换器ADC 1变换成奇数列数据输出。

四、基本工作过程

一个4T-APS像素阵列的滚动快门曝光读出时如图所示，图中每一行曝光-读出过程的重置、传输、选择和相关双取样（CDS）运算都与上面所描述的一样，这里的讨论将省略S1和S2两次取样的时序。

由Reset（x）和TX（x）控制第（x）行重置开始曝光之后，经过行间隔时间Trow，下一行（x＋1）开始曝光，并依次间隔相同时间Trow，（x＋2）、（x＋3）…行开始曝光。每一行曝光后经过相同的曝光时间Texp，传输门TX（x＋n）分别依次第二次开启，在TX（x＋n）前后选择Select（x＋n）开启，然后经过双取样运算CDS依次输出每一行像素的光电转换信号VCDS（x ＋n ），这里n ＝0、1、2、…。当某一行像素被选择输出时，这一行中的每一个像素的光电转换信号，都通过各自的列通道输出。在每一个行间隔时间Trow内，列输出开关Sc（0）、Sc（1）、Sc（2）、…轮流开启，把像素信号依次输出到信号总线上去，这个操作称为水平扫描。阵列中的每一行像素曝光后，这一行所有像素信号全部顺序完成CDS读出，就可以开始下一幅图像的曝光，而不必等待一帧图像信号全部完成曝光和信号输出。连续地反复曝光和读出，就形成了连续滚动电子快门操作。滚动快门所要求的帧刷新周期时间，必须长于曝光时间加上完成一帧最后一行全部列CDS读出的操作时间。