一、3D成像技术概述

图像传感器一直以来都是人类研究的热点。但随着当代科学技术发展，人类对于传统的 2D 图像传感器的要求越来高，不仅期望着更高分辨率，更快速度，更大的动态范围，人类加希望能够获得物体深信息，但是 2D 成像技术现在已经不能满足人类的需求，所以应运而生了 3D 成像技术。下图展示了采用 3D 成像技术所获得的图，（a）中是一个实际的场景，（b）表示通过表示通过 3D 成像技术获得的该场景的深度信息。

目前市场上常见的3D 成像技术主要有结构光法，双目立体视觉法和飞行时间法等，我们主体上采用2001年 Optical Engineering（《光学工程》）一书中的分类，如下图所示

光学测距的方法整体上分成主动和被动两种。其中被动（Passive）包括了立体视觉（Stereoscopy，比如人们常说的“双摄测距”）、聚焦合成（Depth-from-Focus，典型的类似技术比如光场相机）；而ToF被归类到主动光学测距技术中，主动技术还包括了三角测量（Triangulation，典型的如iPhone中Face ID的结构光）、干涉法（interferometry）等。

值得一提的是，这个分类方法或许仍然不够全面。比如在不同切分维度中，三角测量这种方法本身就可以分成主动和被动两种，双摄测距的立体视觉就属于被动三角测距方案。再比如说在被动光学测距技术分类上，在深度方面做文章的不仅有depth from focus，还有depth from motion、depth from shape等。

1、三角测量

其中结构光法和双目立体视觉法是比较传统的方法，都是基于光学和几何原理测量物体的深度信息。

结构光法通过向目标发射近红外波段的可控光点、光条或光面，依据目标引起的光学图形的偏移提取场景的深度信息。如上图图所示，依照光学三角测量原理，可通过测量偏移量x’，计算得到目标相对于参考的距离x，进而实现三维成像。这种成像方法原理比较简单，成本较低，但是缺点也很明显：受环境光影响严重，且受被照射物体的材质影像也很严重，成像精度较低。

双目立体视觉法则是利用两个摄像机同时测量同物体，来得到物体各点在两个相机中的视差再计算得到物体的三维坐标值。这种方法原理简单，精度较高，但是因其成本较高，并且需要对相机进行标定，同时在后续计算距离信息时算法比较复杂，并且对于如何辨别不同传感器所拍摄图像中的同一视域还没有较好的解决方法。

2、全息干涉

此外，还可以通过全息干涉法实现3D 成像。该技术对于物体位移的测量可达到几百纳米甚至更高的精度，是众多3D 成像技术中绝对精度及分辨率最高的。全息干涉法的实现装置如图：

光源产生的光首先会经过分束器变成两路光，由于这两束光的光学路径不同，其相位也不一样，从而产生两束相干光，两相干光照射到物体上形成的图形会有细微的差别，进而提取物体的位移信息。该技术广泛应用于震动模式识别、表面位移等领域。但它的测量范围有限，多为
微米到毫米级的短距离应用。

3、飞行时间

飞行时间法图像传感器不同于传统的3D 成像法，它主要包含间接型和直接型两种类型。

ToF 传感器又分为连续波型和脉冲型，大体原理相同，区别主要在于一个是有光源发射一定调制频率的红外脉冲信号，通过测量发射脉冲和接收到的脉冲之间的时间间隔来得到物体距离信息；一个是发射一定调制频率的红外正弦波信号，通过在四个相位连续积分得到接收光的相位偏移来计算物体的距离信息。

其中基于连续波的ToF 传感器具有功耗低，像素结构相对简单，精度高，成本低等优点。此外，ToF 因其体积小，还可用于虚拟现实，智能手机和可穿戴传感器设备中，使得ToF 成像将成为实现智能化社会生活环境的最基本技术。

二、飞行时间（TOF）三维图像传感器

与传统的结构光法和双目立体视觉法以及全息干涉法相比，随着CMOS 工艺的不断进步，ToF 在相机体积和成本方面远低于前者。对于ToF 来说，虽然其分辨率略低于现有基于全息干涉法的产品，但随着工艺的不断进步以及电路设计水平的提升，ToF 相机的分辨率将会有很大提升；在精度方面，结构光法和ToF 法均达到了毫米量级，而双目立体视觉法仅为厘米量级；在速度方面，双目立体视觉法和结构光法都是基于光学三角表原理计算深度的，计算复杂，极大的影响了成像速度。此外，ToF 法还具有不需要像素对应、测量范围受限制弱等优势，这使得基于ToF 的3D 成像技术成为未来主流的3D 成像技术。

现如今，在业内已有多款飞行时间三维图像传感器问世。按照光源调制方式、飞行时间测量原理以及像素结构对现有传感器进行分类，可分为下图所示几种。

1、光源调制方式

飞行时间图像传感器常用的调制手段分为两种：(a)连续波调制和(b)脉冲波调制。两种调制方式都需要特定的探测器结构、测量方法和距离计算手段。连续波调制技术也可称作锁相技术，经调制的信号一般为周期性的光信号，如正弦波信号；脉冲调制技术则是一组经调制的脉冲信号。调制后的波形如图：

2、飞行时间测量原理

1）间接飞行时间

如图所示，调制后的发射光会被物体反射，被像素接收的反射光会与发射光存在相位差。

如果能够获得相位差的具体数值，即可根据式子

$z=\frac{c}{2}*\frac{\varphi }{2\pi f}$

计算出目标物与探测器的距离。其中z为计算的距离，c为光速，f为发射光的调制频率， $\varphi$ 为入射光和反射光的相位差。

为了获得接收光与发射光的相位差，或者说是获得接收光的相位信息，需要对接收光进行采样四个点。设发射的正弦波为：

$S(t)=Asin(wt)$

接收光为

$S(t)=A_{r}sin(wt+\varphi )+B$

这里B是背景光带来的噪声，也可认为是散粒噪声。通过采样计算出相位差从而获得距离信息。分别采样0°，90°，180°，270 的四个点。得到四相采样的结果：

$S_{0}(t)=A_{r}sin(wt+\varphi )+B$

$S_{1}(t)=A_{r}sin(wt+\varphi+\frac{\pi}{2} )+B$

$S_{2}(t)=A_{r}sin(wt+\varphi+\pi )+B$

$S_{1}(t)=A_{r}sin(wt+\varphi+\frac{3\pi}{2} )+B$

$\varphi =arctan(\frac{S_{0}-S_{2}}{S_{1}-S_{3}})$

然而在实际中，接收光照射到图像传感器上，产生光生电荷，无法通过光生电荷直接获得采样获得正弦波各个点的数值。只有采用对光生电荷进行积分的方法从而进行采样，以0°，90°，180°，270°四个点为起点开始积分，积分的时间为正弦信号的半个周期。

间接飞行时间法的实现电路简单，但却容易受到背景光的影响，降低了该方法的准确度。

2）直接飞行时间

直接飞行时间法测量发射光和反射光的时间差，可快速获得目标物与探测器的距离。

由于直接法采用的是脉冲调制光源，所以对光源系统的要求很高，发射光脉冲的上升时间和下降时间要很快。此外，为了保证准确检测光脉冲，对探测器和前端电路的响应速度也有一定的要求。例如，系统要求测量的分辨率达到1 毫米，那么计数器的时钟频率要达到150GHz。这对现有工艺来说是一个巨大的挑战。而且直接法也存在背景光噪声的问题。

3）时间相关单光子计数

时间相关单光子计数(Time-correlated single-photon counting，TCSPC)因其能够对时间信息进行准确测量而被广泛应用于核物理及天文领域。在生命科学领域也有很大的应用空间，如荧光相关光谱，荧光寿命成像，荧光共振能量转移技术等。

下图为TCSPC 装置，该装置的Start 触发信号与脉冲激光二极管是同步的，单光子探测器提供Stop 信号。

每个独立的光子事件对应独立的Start-Stop 时间差：

当在一个探测周期内入射到探测器的光子数超过一个时，只有一个光子会被探测到，其他光子将无法令探测器产生相应的响应，这是因为每个光子事件被探测到时，会使系统处于死时间状态，即图中所示的Td，在这段时间内其他入射光子是无法检测到的。

在TCSPC 系统中，最后输出的是以光子到达时间为横坐标，以检测到的光子事件数为纵坐标的直方图，如图所示：

在该光子事件直方图中，每次直方图的开始时间，即零时刻，是与光源发射的信号同步的，而光子事件直方图的持续时间就等于一次探测周期的长度。直方图中的开窗大小由还原深度信息的硬件决定。通过光子事件直方图还原深度有下面三种方法：

最大峰法。人为设定一个光子事件阈值，只有超过这一阈值的部分才被认为是与最终所测目标的距离相关；然后就是峰值的定位，这一步只需要通过峰值查找算法即可完成。
互相关法。通过判断光子事件直方图与发射光之间的相似程度来计算目标深度信息。
最小能量法。当要检测的信号仅含有背景噪声时，对该信号在时间轴上对其能量进行积分，将会得到一个按照固定斜率上升的能量曲线；如果信号中存在脉冲，该脉冲的上升沿将会使得能量曲线的斜率出现跳变。因此可以通过该方法检测信号中脉冲出现的时间点。

总地来说，TCSPC还是基于时差的TOF方法，通过时差来计算深度距离。

3、SPAD TOF图像传感器

这里主要说明基于SPAD像素的TOF图像传感器。该传感器主要用于直接TOF（dTOF）。

我们说回直接TOF法，其使用脉冲光源，传感器内部的每一个像素都直接测量往返时间，具有灵敏度高的优点，并且不存在光电子积累的过程，其测量精度受光噪声的影响比较小，为了达成目标，像素需要一个高速的光电探测器和高精度的时间-数字转换电路（TDC）。TCSPC这一方法也是同样的需求。目前最为常用的光电探测器就是SPAD。基于SPAD的像素如下图：

以该像素为基础的图像传感器的精度主要由单光子雪崩二极管（SPAD）探测器性能和TDC 电路精度决定。下图为该TOF 图像传感器原理，激光发射光脉冲经目标物体反射后入射SPAD 发生雪崩击穿，TDC 电路测量激光信号和SPAD 雪崩信号之间的时间间隔，从而可以通过计算得到目标物体和传感器之间的距离。

1）SPAD

这里说明什么是SPAD。根据光电二极管的 I-V 特性，可分为太阳能电池模式、光电二极管模式、雪崩模式、盖革模式等几种工作状态，下图是光电二极管分别在明暗条件下的I-V 曲线。

盖革模式下的光电二极管的增益理论上是无穷的，所以经常被用来进行单光子探测，也称作单光子雪崩二极管（SPAD）。在盖革模式下，雪崩光电二极管吸收光子会产生电子-空穴对，在高反偏电压产生的强电场作用下电子-空穴对被加速，从而获得足够的能量，然后与晶格发
生碰撞，形成连锁效应，结果形成大量的电子-空穴对，引发雪崩现象，电流成指数增长。此时SPAD 的增益理论上是无穷的，单个光子就能够使SPAD 的光电流达到饱和。

工作在盖革模式下的SPAD 可以看作是内置数字触发器的探测器，在雪崩-淬灭-复位三个状态间切换。状态切换过程如图：

VA 为施加在SPAD 两端的电压，该电压要比SPAD 的击穿电压VBD 高出一个溢出电压VEX，以保证二极管始终处于盖革模式。在这种状态下一旦有载流子进入势垒区，即使只有一个载流子，它也会在强电场的作用下被加速，进而发生碰撞电离以及雪崩倍增，产生以指数形式增长的雪崩电流。此时的二极管处于开启状态。

需要注意的是，SPAD 的开启状态是自持的，即没有外界干扰的情况下，这种状态会一直维持下去。这也就致使SPAD 无法继续检测后续的光子事件。此外，产生的雪崩电流极大，会使SPAD 融化。为避免上述两种情况，外加淬灭电路使SPAD 脱离雪崩状态是必不可少的。淬灭的过程就是将SPAD 两端的电压降至VBD 甚至更低。淬灭完成后SPAD 的外加电压会复位至VA，等待下一次的光子入射。常用的淬灭方法是针对连续信号的被动淬灭(passive quenching)、主动淬灭(active quenching)，以及针对非连续信号的门控脉冲淬灭(gated mode quenching)三种。

2）TDC

时间数字转换（Time-to-Digital Converters，TDC）技术在航空航天、雷达定位、激光测距、卫星导航等领域受到了广泛应用。

TDC 电路用于量化两个信号之间的时间间隔，与模数转换器有些相似之处，区别在于模数转换器量化的是电流或电压，TDC 是用数字方式输出待测时间间隔大小。

待测时间间隔即为START 信号STOP 信号之间的时间差。分辨率和测量误差是影响TDC 性能的两个关键技术指标。分辨率指的是TDC 最小量化步长，即能够分辨的最小时间变化量。

CMOS图像传感器——TOF 图像传感器相关推荐

cmos sensor （图像传感器） CSI接口
Chapter 39(Page 1429) CMOS Sensor Interface(CSI) 本章介绍了CMOS图像传感器接口(CSI)的架构,操作守则以及编程原型.该CSI接口能够使得MX27直 ...
图像传感器binning_CMOS图像传感器调试问题汇总
摄像头问题及解决办法汇总一.名词解释 1. 白平衡白平衡指的是传感器对在光线不断变化环境下的色彩准确重现的能力表示. 大多数拍照系统具有自动白平衡的功能, 从而能在光线条件变化下自动改变白平衡值 ...
图像传感器binning_图像传感器的两种缩放模式
一部份信息表示,sensor的RGB数据排列如下图所示,部分行.列数据是一个无效的,只取中间有效像素( active pixel)部分,实际上 sensor 获取的数据也是如此存储的. 以 OV274 ...
CMOS图像传感器理解
CMOS图像传感器理解水流方向从左边流向右边,上面有一个开关,拧下去的时候水流停止,拧上去的时候水流打开.左边是水流的源头我们给它起个名字,叫做源端(就是源头的意思嘛),右边是水流出去的地方,也就是 ...
初学整理（一）CMOS图像传感器（CMOS image sensor, CIS）基本介绍
初学整理(一)CMOS图像传感器(CMOS image sensor, CIS)基本介绍 CCD与CMOS CIS的基本结构与工作模式 CCD与CMOS 常用的图像传感器有电感耦合器件(Coupled ...
45纳米和堆叠技术在低暗电流和低噪声的0.9微米像素CMOS图像传感器处理的应用
[备注:文章从国外会议翻译而来,翻译者水平有限,仅给读者诸君做参考用] [备注:英文翻译极少量生词由谷歌翻译,绝大多数是个人直译未做中文排列,请读者诸君中文解码] 45纳米和堆叠技术在低暗电流和低噪声 ...
索尼：CMOS图像传感器3D堆叠架构的演进及未来趋势
免责声明: 该内容由专栏作者授权发布或转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点,本站亦不保证或承诺内容真实性等.如若文章内容侵犯您的权益,请及时联系本站删除. 原文链接:https ...
完全自主研发，聚芯微发布3D dToF图像传感器芯片！
日前,由中国半导体行业协会IC设计分会(ICCAD).芯原股份.松山湖管委会主办的主题为"AR/VR/XR×元宇宙"的"2023松山湖中国IC创新高峰论坛"正式 ...
图像传感器与信号处理——详解图像传感器噪声
图像传感器与信号处理--详解图像传感器噪声图像传感器与信号处理--详解图像传感器噪声 1 图像传感器噪声分类 2 图像传感器噪声描述 3 图像传感器噪声原理 3.1 热噪声(Thermal Nois ...

CMOS图像传感器——TOF 图像传感器