本发明涉及深度传感器、机器视觉、三维重建、双目立体视觉、TOF技术领域，尤其涉及一种结合TOF技术和双目视觉的深度信息获取装置及其方法。

背景技术：

近年来，深度信息在传感器中获得了越来越多的应用。获取深度信息的技术主要有双目立体匹配、TOF(Time of Flight，飞行时间)、单目结构光等技术。这些技术可以为传感器增加额外的深度信息，在图像识别与处理、场景理解、VR、AR和机器人等领域有着广泛的应用。然而，当前市面上的主流产品依旧有各自的使用范围和局限性。比如，双目立体匹配依赖于复杂的算法，因此硬件要求高，计算时间长，对于特征不明显的目标识别效果不佳；脉冲式TOF深度测量技术成本很高，由于扫描方法的限制，存在高分辨率和高刷新频率的矛盾；相位法TOF深度测量距离分辨率和空间分辨率都不高，抗干扰能力较差；结构光技术根据编码方法的不同，也存在分辨率低、测量时间长、可靠性差等缺陷，对测量目标特性有一定要求，且抗干扰能力差，只能用于室内。为满足需求常需要配置多种传感器，简单的传感器叠加，并不能很好地改善整体性能，还会增加系统结构复杂度和系统成本。

技术实现要素：

针对上述不足，本发明提供一种结合TOF技术和双目视觉的深度信息获取装置及其方法，具有双目立体视觉高分辨率的同时，大幅降低算法要求，提高了测量速度，对无纹理的目标也能很好识别，适用于室内和室外环境下各种目标。相对于简单的多种传感器融合，不仅成本降低，集成度更好，而且性能上也更稳定。

本发明解决其技术问题所采用的技术方案如下：一种结合TOF技术和双目视觉的深度信息获取装置，包括一个主动光源发射装置、一个TOF传感器、左图像传感器、右图像传感器、控制器以及处理器；所述主动光源发射装置包括依次布置的光源、空间调制器件以及成像系统；主动光源发射装置和TOF传感器均与控制器相连，TOF传感器、左图像传感器和右图像传感器均与处理器相连。

所述的左图像传感器和右图像传感器在TOF传感器两侧对称放置；作为一种技术方案，左右图像传感器和TOF传感器采用分光方法采集同样条件下的图像和深度信息。左、右图像传感器获取的反射率信息可以对TOF传感器进行反馈，提高TOF传感器的测量精度、降低噪声。

所述的控制器控制光源发射时间调制的光，经空间调制器件调制后，由成像系统形成具有一定空间分布的图案照明场景。作为优选，光源为LED或激光模组，主动光源发射装置的时间调制为正弦波或快速方波序列，空间调制器件为毛玻璃或光栅，成像系统为微透镜阵列。

所述的TOF传感器接收场景目标反射的回波信号，根据信号的时间调制计算飞行时间，进一步得到场景深度信息。所述的图像传感器接收环境光和主动光源照明下的场景图像，主动光源的空间调制给场景加上纹理，便于左右图像传感器对无纹理目标进行特征匹配。作为优选，所述左图像传感器和右图像传感器采集到的图像为灰度图像，其光谱特性主要响应主动光源的窄波段，也能响应部分可见光波段；进一步的，所述左图像传感器和右图像传感器采集图像也可以为RGB彩色图像，获取更多目标信息进行特征匹配。

本发明的另一目的是提供一种结合TOF技术和双目视觉的深度信息获取方法，具体包括如下步骤：

(1)控制器控制光源发射时间调制的光波信号，经过空间调制器件调制后由成像系统形成图案并照射目标测量区域，TOF传感器接收目标测量区域反射的回波信号，计算光波飞行时间得到各点的深度信息；左图像传感器和右图像传感器采集环境光及主动光源发射装置照明下的场景，得到两个视角下的左、右图像；

(2)对TOF传感器、左图像传感器和右图像传感器进行标定，得到三个传感器在世界坐标系的对应关系；

(3)根据标定参数，将深度信息映射到两路图像坐标中，以深度信息增加约束条件对两路图像进行立体匹配，包括以下几种方法：

(3.1)深度图像中，深度大于D的区域，在左右图像中寻找1-2个对应特征点，计算深度信息作为背景深度；进一步的，可以分成多个等级，距离在D1-D2之间的区域计算一次深度，距离在D2-D3的区域计算一次深度，依次类推；

(3.2)深度图像中，对步骤(3.1)之外的区域，计算其梯度，梯度值大于G的区域，在左右图像中进行高精度立体匹配，计算准确的深度信息；

(3.3)深度图像中，对步骤(3.1)和步骤(3.2)之外的区域，计算其二阶梯度，二阶梯度小于G2的区域，在左右图像中仅对边界进行立体匹配，计算深度信息，其他部分进行线性插值；

(3.4)深度图像中，对步骤(3.1)、(3.2)、(3.3)之外的区域，在左右图像中进行低精度立体匹配，计算深度信息；

(3.5)对左右图像进行高通滤波，提取图像中高频成分，识别小尺寸目标，计算深度信息。

(4)对两路图像中由于视角不同所产生的盲区部分以背景深度进行填充；

(5)对两路图像交叉范围之外的无视差区域，以TOF深度信息进行填充，得到场景的深度图像。

本发明的有益效果如下：以较低成本实现室内外环境下高分辨率快速深度信息获取，适用于近距离及较远距离。兼具TOF技术的快速测量和双目视觉的高分辨率抗干扰等优点，降低了无法识别和错误识别的风险，稳定性和可靠性更好。

同时采集低分辨率的深度图像和两路高分辨率的图像，以深度图像作为先验信息对图像进行特征识别与匹配，按照光学三角法原理得到高分辨率的深度信息，大幅降低了算法复杂度和计算时间。本发明方法或装置包含一路主动光源发射装置，可以进行空间和时间调制，空间调制对目标加上一定的纹理，辅助两路图像进行特征识别，时间调制用于TOF获取深度图像。深度图像传感器只响应主动光源。左右图像传感器主要响应主动光源，也能响应部分可见光源，保证在近距离或者较远距离、强环境光和弱环境光下都能获得可识别的图像。

附图说明

图1是本发明装置的结构图；

图2是本发明装置中主动光源发射装置的结构示意图；

图3是本发明方法流程图；

图4是本发明中传感器采集信号的原理图；

图中：主动光源发射装置1、TOF传感器2、左图像传感器3、右图像传感器4、控制器5、处理器6、光源7、空间调制器件8、成像系统9。

具体实施方式

下面结合附图和实施例对本发明做进一步的说明。

实施例：

如图1所示，一种结合TOF技术和双目视觉的深度信息获取装置，包括一个主动光源发射装置1、一个TOF传感器2、左图像传感器3、右图像传感器4、控制器5以及处理器6；如图2所示，所述主动光源发射装置1包括依次布置的光源7、空间调制器件8以及成像系统9；主动光源发射装置1和光源7均与控制器5相连，TOF传感器2、左图像传感器3和右图像传感器4均与处理器6相连；

本实施例将左图像传感器3和右图像传感器4对称布置在TOF传感器2的两侧，左、右图像传感器和TOF传感器2采用分光方法采集同样条件下的图像和深度信息。左、右图像传感器获取的反射率信息可以对TOF传感器2进行反馈，提高TOF传感器的测量精度、降低噪声。

所述的TOF传感器2接收场景目标反射的回波信号，根据信号的时间调制计算飞行时间，进一步得到场景深度信息。所述的左、右图像传感器接收环境光和主动光源照明下的场景图像，主动光源的空间调制给场景加上纹理，便于左、右图像传感器对无纹理目标进行特征匹配。本实施例中左图像传感器3和右图像传感器4采集图像为RGB彩色图像，其光谱特性主要响应主动光源的窄波段，也能响应部分可见光波段，获取更多目标信息进行特征匹配。

所述的控制器5控制光源7发射时间调制的光，经空间调制器件调制后，由成像系统9形成具有一定空间分布的图案照明场景。实施例中光源7采用850nm激光模组，主动光源发射装置1的时间调制为正弦波，空间调制器件8为毛玻璃，成像系统9为微透镜阵列。

如图3所示，一种结合TOF技术和双目视觉的深度信息获取方法，具体包括如下步骤：

(1)控制器5控制光源7发射时间调制的光波信号，经过空间调制器件8调制后由成像系统9形成图案并照射目标测量区域，实现时间上为正弦波、空间上有一定光斑分布的调制光照明，如图4所示；TOF传感器2接收目标测量区域反射的回波信号，计算光波飞行时间得到各点的深度信息，分辨率为360×240；左图像传感器3和右图像传感器4采集环境光及主动光源发射装置1照明下的场景，得到两个视角下的左、右图像，分辨率为1280×1024；

(2)对TOF传感器2、左图像传感器3和右图像传感器4进行标定，得到三个传感器在世界坐标系的对应关系；

TOF传感器2只响应主动光源的窄波段光谱获得较好信噪比以提高抗干扰性，而且由于空间分辨率较低，接收的是范围内的平均信号，因此不受照射图案空间分布的影响。灰度图像传感器主要响应主动光源的窄波段光谱，也能响应部分可见光谱。

(3)根据标定参数，将深度信息映射到两路图像坐标中，以深度信息增加约束条件对两路图像进行立体匹配；

(4)对两路图像中由于视角不同所产生的盲区部分以背景深度进行填充；

(5)对两路图像交叉范围之外的无视差区域，以TOF深度信息进行填充，得到场景的深度图像。

所述立体匹配方法中，增加的约束条件具体如下：

(3.1)深度图像中，深度大于D的区域，在左右图像中寻找1-2个对应特征点，计算深度信息作为背景深度；进一步的，可以分成多个等级，距离在D1-D2之间的区域计算一次深度，距离在D2-D3的区域计算一次深度，依次类推；

(3.2)深度图像中，对步骤(3.1)之外的区域，计算其梯度，梯度值大于G的区域，在左右图像中进行高精度立体匹配，计算准确的深度信息；

(3.3)深度图像中，对步骤(3.1)和步骤(3.2)之外的区域，计算其二阶梯度，二阶梯度小于G2的区域，在左右图像中仅对边界进行立体匹配，计算深度信息，其他部分进行线性插值；

(3.4)深度图像中，对步骤(3.1)、(3.2)、(3.3)之外的区域，在左右图像中进行低精度立体匹配，计算深度信息；

(3.5)对左右图像进行高通滤波，提取图像中高频成分，识别小尺寸目标，计算深度信息。

约束条件不限于以上几种方法，本文提到的几种方法也可以不全部采用。