深度相机原理和优势对比

目前的深度相机根据其工作原理可以分为三种：TOF、RGB双目、结构光

TOF简介

TOF是Time of flight的简写，直译为飞行时间的意思。所谓飞行时间法3D成像，是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行（往返）时间来得到目标物距离。这种技术跟3D激光传感器原理基本类似，只不过3D激光传感器是逐点扫描，而TOF相机则是同时得到整幅图像的深度信息。TOF相机与普通机器视觉成像过程也有类似之处，都是由光源、光学部件、传感器、控制电路以及处理电路等几部单元组成。与同属于非嵌入式三维探测、适用领域非常类似的双目测量系统相比，TOF相机具有根本不同的3D成像机理。双目立体测量通过左右立体像对匹配后，再经过三角测量法来进行立体探测，而TOF相机是通过入、反射光探测来获取的目标距离获取。微软kinect2即是基于TOF原理的深度相机。Kinect2的TOF方案深度图分辨率只有512x424。

TOF 相机目前的主要应用领域包括：

1、物流行业：通过 TOF 相机迅速获得包裹的抛重（即体积），来优化装箱和进行运费评估；

2、安防和监控：进行 People counting 确定进入人数不超过上限；通过对人流或复杂交通系统的counting，实现对安防系统的统计分析设计；敏感地区的检测对象监视；

3、机器视觉：工业定位、工业引导和体积预估；替代工位上占用大量空间的、基于红外光进行安全生产控制的设备；

4、机器人：在自动驾驶领域提供更好的避障信息；机器人在安装、质量控制、原料拣选应用上的引导；

5、医疗和生物：足部矫形建模、病人活动/状态监控、手术辅助、面部3D 识别；

6、互动娱乐：动作姿势探测、表情识别、娱乐广告。

二、RGB双目

RGB双目指的是目前大家都在热点研究的，仅依靠双相机的视差获取深度信息的方式。RGB双目相机因为非常依赖纯图像特征匹配，所以在光照较暗或者过度曝光的情况下效果都非常差，另外如果被测场景本身缺乏纹理，也很难进行特征提取和匹配。

三、结构光

以激光三维扫描仪为例，其原理是通过发射激光来扫描被测物，以获取被测物体表面的三维坐标。三维激光扫描技术又被称为实景复制技术，具有高效率、高精度的测量优势。有人说，三维激光扫描是继GPS技术以来测绘领域的又一次技术革命。三维激光扫描仪被广泛应用于结构测量、建筑测量、船舶制造、铁路以及工程的建设等领域。近些年来，三维激光扫描仪已经从固定朝移动方向发展，最具代表性的就是车载三维激光扫描仪和机载三维激光雷达。

三种主流方案对比
方案	双目	结构光	TOF
原理	双目匹配，三角测量	激光散斑编码	反射时差
分辨率	中高	中	低
精度	中	中高	中
帧率	低	中	高
抗光照（原理角度）	高	低	中
硬件成本	低	中	高
算法开发难度	高	中	低
内外参数标定	需要	需要

三种相机的参数对比：

从分辨率、帧率、软件复杂度、功耗等方面考虑

相机类型	TOF	RGB双目	结构光
工作原理	根据光的飞行时间直接测量	RGB图像特征点匹配，三角测量间接计算	主动投射已知编码图案，提升特征匹配效果
测量精度	最高可达厘米级精度	近距离可达毫米级精度	近距离内能够达到高精度0.01mm-1mm
测量范围	可以测量较远距离，一般为100m以内	由于基线限制，一般只能测量较近的距离，距离越远，测距越不准。一般为2m（基线10mm）以内	测量距离一般为10m以内
测距方式	主动式	被动式	主动式
影响因素	不受光照变化和物体纹理影响，受多重反射影响	受光照变化和物体纹理影响很大，夜晚无法使用	不受光照变化和物体纹理影响，受反光影响
户外工作	功率小的话，影响较大	无影响	有影响，和编码图案有关

1）分辨率

TOF方案深度图分辨率很难提高，一般都达不到VGA（640×480）分辨率。比如Kinect2的TOF方案深度图分辨率只有512×424。而Google和联想合作的PHAB2手机的后置TOF深度相机分辨率只有224×171。TOF方案受物理器件的限制，分辨率很难做到接近VGA的，即使做到，也会和功耗呈指数倍增长。结构光的分辨率在较近使用范围内，结构光方案的分辨率会大大高于TOF方案。比如目前结构光方案的深度图最高可以做到1080p左右的分辨率了。

（2）帧率

帧率的话，TOF方案可以达到非常高的帧率，差不多上百fps吧。结构光方案帧率会低点，典型的是30fps，不过这也基本够用了。

3）软件复杂度

结构光因为需要对编码的结构光进行解码，所以复杂度要比直接测距的TOF高一些。

（4）功耗

TOF是激光全面照射，而结构光是只照射其中局部区域，比如PrimeSense的伪随机散斑图案，只覆盖了不到十分之一的空间。另外，TOF发射的是高频调制脉冲，而结构光投射图案并不需要高频调制，所以结构光的功耗要比TOF低很多。还是以伪随机散斑结构光为例，结构光方案功耗只有TOF的十分之一不到吧。

下面是三种方案的分辨率，帧率，软件复杂度和功耗方面的对比效果

相机类型	TOF	结构光	RGB双目
分辨率	低于640x480	可达1080x720	可达2K分辨率
帧率	较高，可达上百fps	一般30fps	从高到低都有
软件复杂度	较低	中等	很高
功耗	很高，因为需要全面照射	中等，因为需要投射图案，执照局部区域	较低，因为纯软件

结构光方案还有一个优势在于技术成熟，PrimeSense很早就把结构光技术用在kinect一代产品中了。目前结构光技术有如下几种变种：一种是单目IR+投影红外点阵，另外一种是双目IR+投影红外点阵，这样相当于结构光+双目立体融合了，深度测量效果会比前者好一些，比如Intel RealSense R200采用的就是双目IR+投影红外点阵，不足之处就是体积较大。而单目IR+投影红外点阵的方案虽然体积较小，但是效果会差一点。

（5）计算复杂度

计算方式也分几种：一是直接用ASIC（专用集成电路）进行计算，成本稍微高一点，但是处理速度快，支持高帧率和高分辨率深度相机，关键是比通用芯片功耗低。二是DSP+软件算法，成本跟用ASIC差不多，但支持不了高帧率高分辨率，功耗比ASIC稍高。三是直接用手机的AP(Application Processor)进行纯软件计算，这个不需要额外增加硬件成本，但是比较消耗AP的计算资源。同样也不支持高帧率高分辨率，功耗比较大。

结构光技术分析
类别	方案	特点
相机光学结构	单目IR+投影红外点阵	体积小
	双目IR+投影红外点阵	体积大
	单目IR+投影相移条纹	体积大
计算资源	ASIC	支持高帧率/高分辨率，低功耗，成本稍微高
	DSP+软件算法	支持低帧率/低分辨率，功率中等，成本中等
	AP+软件算法	支持低帧率/低分变率，功耗高，成本较大

iPhone X的深度相机技术方案：结构光原理的深度相机。具体来说是：单目IR+投影红外点阵+ASIC方案。该方案在深度分辨率、深度测量精度上有较大优势，实时性处理和全天候工作也都有保障，功耗也相对较低，就是成本稍高了一些。

总结：

1.双目方案，最大的问题在于实现算法需要很高的计算资源，导致实时性很差，而且基本跟分辨率，检测精度挂钩。也就是说，分辨率越高，要求精度越高，则计算越复杂，同时，纯双目方案受光照，物体纹理性质影响。

2.结构光方案，目的就是为了解决双目中匹配算法的复杂度和鲁棒性问题而提出，该方案解决了大多数环境下双目的上述问题。但是，在强光下，结构光核心技术激光散斑会被淹没，因此，不合适室外。同时，在长时间监控方面，激光发射设备容易坏，重新更换设备后，需要重新标定。

3.TOF方案，传感器技术不是很成熟，因此，分辨率较低，成本高，但由于其原理与另外两种完全不同，实时性高，不需要额外增加计算资源，几乎无算法开发工作量，是未来发展的一个重要方向。

深度相机原理和优势对比相关推荐

深度相机原理揭秘之3D结构光Sensor（iPhone X、小米8探索版、OPPO Find)
转自:https://blog.csdn.net/electech6/article/details/78707839 结构光法:为解决双目匹配问题而生深度图效果:结构光vs.双目投射图案的编码方 ...
双目视觉焦距_深度相机原理揭秘--双目立体视觉
深度相机原理揭秘--双目立体视觉博文来源:http://www.sohu.com/a/203027140_100007727 导读为什么非得用双目相机才能得到深度? 双目立体视觉深度相机的工作流程 ...
kinect深度距离误差_azure kinect 深度相机原理
azure kinect 深度相机原理 RGB原理就不要讲了工作原理 Azure Kinect DK 深度相机实现调幅连续波 (AMCW) 时差测距 (ToF) 原理. 该相机将近红外 (NIR) ...
深度相机原理揭秘之飞行时间法（TOF）
版权声明:本文为博主原创文章,未经博主允许不得转载.违者必究. https://blog.csdn.net/electech6/article/details/78349107 </div> ...
【深度相机系列三】深度相机原理揭秘--双目立体视觉
本文已经首发在个人微信公共号:计算机视觉life(微信号CV_life),欢迎关注! 导读为什么非得用双目相机才能得到深度? 双目立体视觉深度相机的工作流程双目立体视觉深度相机详细工作原理理想双 ...
重磅直播|中科慧眼崔峰博士详解深度相机原理及其应用
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达大家好,本公众号现已开启线上视频公开课,主讲人通过B站直播间,对3D视觉领域相关知识点进行讲解,并在微 ...
第一课：深度相机原理揭秘--双目立体视觉
导读为什么非得用双目相机才能得到深度? 双目立体视觉深度相机的工作流程双目立体视觉深度相机详细工作原理理想双目相机成像模型极线约束图像矫正技术基于滑动窗口的图像匹配基于能量优化的图像匹配 ...
三维重建：深度相机方案对比-KinectFusion的基本原理（尺度）
KinectFusion算法原理依据2011年发表的Fusion重建的论文,主要重建方法为TSDF算法,并在GitHub上开源了相关代码,可以直接编译使用.Github: https://github ...
深度相机（三）——结构光（iPhone X 齐刘海原理）
结构光法:为解决双目匹配问题而生前面文章<深度相机原理揭秘--双目立体视觉>中提到基于双目立体视觉的深度相机对环境光照强度比较敏感,且比较依赖图像本身的特征,因此在光照不足.缺乏纹理等情 ...

深度相机原理和优势对比

深度相机原理和优势对比相关推荐

最新文章

热门文章