Kinect深度图与摄像头RGB的标定与配准(文末总结不容错过)

作者原文地址：Kinect深度图与RGB摄像头的标定与配准_aipiano的博客-CSDN博客_深度摄像头标定

自从有了Kinect，根据深度图提取前景就非常方便了。因此出现了很多虚拟现实、视频融合等应用。但是，Kinect自身的RGB摄像头分辨率有限，清晰度也不及一些专业摄像头，因此有了用第三方摄像头代替Kinect摄像头的想法。现在的问题是，如何将Kinect的深度图与第三方摄像头的RGB图像对准？

我们知道，当使用Kinect的RGB时，有方便的MapColorCoordinatesToDepth()和MapDepthCoordinatesToColor()方法可以使用，这些函数将深度图和RGB对准到一起，从而可根据深度图准确的提取出RGB中的前景。但打算使用第三方摄像头时，这些函数都没有用了，它们不可能知道我们所用摄像头的参数以及空间位置，因此只能靠自己标定的方法解决这一问题。

在标定之前，先要固定好Kinect和摄像头的位置，让深度摄像头和RGB摄像头的像平面尽量平行，距离也不要隔得太远，就像下面这样（做得很丑，请见谅-_-!!）：

一、RGB摄像头的标定

RGB摄像头的标定想必大家都很熟悉，最常用的就是棋盘法。用待标定的摄像头拍摄多幅不同视角下的棋盘图片，将这些图片扔给OpenCV或Matlab，从而计算出该摄像头的内参以及对应于每一幅图像的外参。这里就写写我在标定过程中的一些感受和经验吧。

1、标定所用的棋盘要尽量大，至少要有A3纸的大小；

2、棋盘平面与摄像头像平面之间的夹角不要太大，控制在45度以下；

3、棋盘的姿势与位置尽可能多样化，但相互平行的棋盘对结果没有贡献；

4、用于标定的图片要多于10张；

5、注意设置好摄像头的分辨率，长宽比最好和深度图的相同，比如1280x960（4:3）。

以下是一些用于标定的样图：

二、深度摄像头的标定

深度摄像头看起来和RGB摄像头差别很大，实际上有很多相似之处。就Kinect而言，其通过一个红外散斑发射器发射红外光束，光束碰到障碍物后反射回深度摄像头，然后通过返回散斑之间的几何关系计算距离。其实，Kinect的深度摄像头就是一个装了滤波片的普通摄像头，只对红外光成像的摄像头（可以这么认为）。因此要对其标定，只需用红外光源照射物体即可，LED红外光源在淘宝上就20元一个。还有一点必须注意，在拍摄红外照片时，要用黑胶带（或其他东西）将Kinect的红外发射器完全挡住，否则其发出的散斑会在红外照片中产生很多亮点，不利于棋盘角点的检测。以下是对应于上面RGB图像的红外图：

三、计算内参

得到以上图片之后，就可以分别对RGB摄像头和深度摄像头计算内参了。可以使用OpenCV，自己写一小段程序，然后把图片扔进去。也可以使用著名的Matlab Camera Calibration Toolbox。自己写代码累，Matlab我没装，因此我使用 GML Calibration Toolbox，可以在这里下载 http://graphics.cs.msu.ru/en/node/909 。这是一个C++写的标定程序，有友好的用户界面，精度也不错，使用非常方便。

分别将RGB和红外的照片扔进去，得到RGB摄像头的内参（包括畸变参数）：

=== Intrinsic ===
554.952628 0.000000 327.545377
0.000000 555.959694 248.218614
0.000000 0.000000 1.000000
=== Distortion ===
0.025163 -0.118850 -0.006536 -0.001345

和Kinect深度摄像头的内参（这个对所有Kinect应该都是差不多的）：

=== Intrinsic ===
597.599759 0.000000 322.978715
0.000000 597.651554 239.635289
0.000000 0.000000 1.000000
=== Distortion ===
-0.094718 0.284224 -0.005630 -0.001429

四、配准

现在说说怎么配准，由于Kinect可以得到真实点的三维坐标，因此深度图的配准可以用一些简单特殊的方法。

设P_ir为在深度摄像头坐标下某点的空间坐标，p_ir为该点在像平面上的投影坐标（x、y单位为像素，z等于深度值，单位为毫米），H_ir为深度摄像头的内参矩阵，由小孔成像模型可知，他们满足以下关系：

又设P_rgb为在RGB摄像头坐标下同一点的空间坐标，p_rgb为该点在RGB像平面上的投影坐标，H_rgb为RGB摄像头的内参矩阵。由于深度摄像头的坐标和RGB摄像头的坐标不同，他们之间可以用一个旋转平移变换联系起来，即：

其中R为旋转矩阵，T为平移向量。最后再用H_rgb对P_rgb投影，即可得到该点对应的RGB坐标：

需要注意的是，p_ir和p_rgb使用的都是齐次坐标，因此在构造p_ir时，应将原始的像素坐标（x，y）乘以深度值，而最终的RGB像素坐标必须将p_rgb除以z分量，即（x/z，y/z），且z分量的值即为该点到RGB摄像头的距离（单位为毫米）。

现在的问题是，如何求联系两个坐标系的旋转矩阵和平移向量。这就要用到摄像头的外参了。

外参矩阵实际上也是由一个旋转矩阵R_ir（R_rgb）和平移向量T_ir（T_rgb）构成的，它表示将一个全局坐标系下的点P变换到摄像头坐标系下，分别对深度摄像头和RGB摄像头进行变换，有以下关系：

在第一式中，将P用P_ir、R_ir和T_ir表示，并带入第二式，可得：

从上式可以看出，这是在将P_ir变换为P_rgb，对比之前的式子：

可得：

因此，我们只需在同一场景下，得到棋盘相对于深度摄像头和RGB摄像头的外参矩阵，即可算出联系两摄像头坐标系的变换矩阵（注意，所有旋转矩阵都是正交阵，因此可用转置运算代替求逆运算）。虽然不同场景下得到的外参矩阵都不同，计算得到的R和T也有一些变化，但根据实际实验结果来看，使用一个正面棋盘的标定图像就可达到较好的效果，如下图：

注意，这两幅图像必须来自于同一场景，否则没有意义。当然你也可以使用多个场景下的外参，然后使用OpenCV的StereoCalibration函数求得两个摄像头的最佳相对变换矩阵，由于时间关系，我没有做这个测试。

使用GML Calibration Toolbox得到以上两图的外参（在菜单栏的Calibration->Export Calibration Data菜单中选择导出），然后根据上式，扔进Mathematica里面去做矩阵运算，得到最终的R和T：

R={ {0.999853, -0.00340388, 0.0167495},

{0.00300206, 0.999708, 0.0239986},

{-0.0168257, -0.0239459, 0.999571} }

T={ {15.2562}, {70.2212}, {-10.9926} }

五、测试

最后写一个小程序测试一下，看看配准前（左）和配准后（右）的区别：

从图像上看，配准已经很精确了。若还要更好，可以手动微调一下两个摄像头的平移向量T，主要改x分量和y分量，这样可以控制RGB和深度图的左右对齐和上下对齐。另外，还可以加入对畸变系数的处理，不过由于Kinect的摄像头以及我使用的RGB摄像头本身质量较高，畸变影响不大，这里就全部忽略了。

说一下这个测试程序的思路。

1、获取Kinect的深度图像；

2、获取RGB摄像头的图像；

3、为深度图像中的每一个像素附上对应的RGB颜色，比如你要给坐标为(x, y)的深度图像素附上颜色，具体步骤如下；

1）构造一个三维向量p_ir = (x, y, z)，其中x,y是该点的像素坐标，z是该像素的深度值；

2）用Kinect内参矩阵H_ir的逆，乘以p_ir得到对应的空间点坐标P_ir，具体公式见上文第四部分（配准）；

3）由于P_ir是该点在Kinect坐标系下的坐标，我们需要将其转换到RGB摄像头的坐标系下，具体的，就是乘以一个旋转矩阵R，再加上一个平移向量T，得到P_rgb；

4）用RGB摄像头的内参矩阵H_rgb乘以P_rgb，得到p_rgb，p_rgb也是一个三维向量，其x和y坐标即为该点在RGB图像中的像素坐标，取出该像素的颜色，作为深度图像中对应像素的颜色；

5）对深度图像中的每一个像素都做上述操作，得到配准后的深度图。

作者原文地址：Kinect深度图与RGB摄像头的标定与配准_aipiano的博客-CSDN博客_深度摄像头标定

知乎上网友代码：请教关于Kinect深度和彩色图融合的问题？ - 知乎

国外的标定：

RGBDemo - Calibration

Nicolas Burrus Homepage - Kinect Calibration

Kinect彩色图深度图配准（分辨率不一样时的处理方式）：Kinect深度图与彩色图的坐标校准_Michael__Shi的博客-CSDN博客_kinect深度图

ROS下的驱动与图像序列保存及opencv显示深度坐标：ROS下Kinect2的驱动安装及简单应用_小贝也沉默的博客-CSDN博客_kinect驱动安装

================================分割线=====================================

============================================

2017.09.08

SDK获取出厂内参数代码，MATLAB 标定Kinect v2等

kinect 2.0 SDK学习笔记（七）--matlab自带相机标定程序对kinect进行简单标定_jiaojialulu的博客-CSDN博客_kinect 标定

================================分割线====================================SaveSave

彩色图和深度图配准的事，我目前是不推荐自己做配准，很繁琐。如果要自己来做配准，目前我认为的三个配的比较好的(暂且不说Kinect 2的SDK了，需要安装SDK 2.0 +Visual studio + opencv + PCL，很繁琐，Kinect C++资料较C#少很多），个人精力有限，源码没有深究。
1. PCL1.8里有个程序，pcl_openni2_viewer，在Linux下面直接接上相机华硕的Xtion Pro live，输入上面代码可以看到效果；其他的相机我没试过，这个pcl的github有源码，调用的openni的东西

2. Kinect V2相机在Linux下的驱动freenect2，源码编译之后，bin文件夹有个Protonect的程序，效果也很好，github官网也可以看到源码https://github.com/OpenKinect/libfreenect2

3. Processing 3程序有个Kinect 插件kinect4WinSDK（Kinect 1代和2代都有对应插件），下图是Kinect1代的

4. 保存Kinect v2 windows SDK内置的转换关系（MapDepthFrameToColorSpace），python配准

宫城浪人 - 知乎

Kinect深度图与摄像头RGB的标定与配准(文末总结不容错过)相关推荐

Kinect深度图与摄像头RGB的标定与配准(转载文章)
作者原文地址:http://blog.csdn.net/aichipmunk/article/details/9264703 自从有了Kinect,根据深度图提取前景就非常方便了.因此出现了很多虚拟现 ...
超强实操！手把手教学Kinect深度图与RGB摄像头的标定与配准
作者 | aipiano @CSDN 编辑 | 3D视觉开发者社区导读 Kinect作为微软推出的XBOX360体感周边外设,具有获取深度信息的能力.但由于Kinect自身RGB摄像头分辨率有限,其 ...
用多个Kinect体感摄像头实现真正360度运动捕捉系统
以前我在这里写过博客文章,研究用微软的Kinect体感摄像头做运动捕捉,当时设计了两种方案,一种是用NiTE中间件,在它的基础上改进了一点点,但处理360度转身主要靠插值,说白了就是靠猜测,效果不是很 ...
opencv与两个摄像头实现双目标定与测距
http://download.csdn.net/detail/hysteric314/9514831 实现效果:http://v.youku.com/v_show/id_XMTU2Mzk0NjU3N ...
Ubuntu18.04 realsenseD435i深度摄像头外参标定的问题
Ubuntu18.04 realsenseD435i深度摄像头外参标定的问题鱼香ROS介绍: 鱼香ROS是由机器人爱好者共同组成的社区,欢迎一起参与机器人技术交流. 进群加V:fishros2048 ...
ORBBEC（奥比中光）AstraPro相机在ROS2下的标定与D2C（标定与配准）
文章目录 1.rgb.depth相机标定矫正 1.1.标定rgb相机 1.2.标定depth相机 1.3.rgb.depth相机一起标定(效果重复了,但是推荐使用) 1.4.取得标定结果 1.4.1. ...
基于Azure Kinect SDK获取物体rgb图、深度图、红外IR图和点云数据并保存到本地
Azure Kinect 最近想做一个物体的三维重建,就买了微软最新的深度相机,功能相比前两代虽然有了很大提升,但是可参考的资料确很少,最简单的图像获取,点云图像保存,都费了我一番功夫最后再参考了现有 ...
双目摄像头三种标定方式标定结果对比
不同的人利用不同的方法对双目摄像头进行标定,总结起来包括如下三种,(1)利用matlab分别对左.右摄像头进行标定:(2)利用matlab同时对双目摄像头进行标定:(3)利用opencv对摄像头进行标 ...
ros打开笔记本摄像头,单目标定
笔记本摄像头多是usb 镜头下载包或者sudo apt-get install ros-indigo-usb-cam git clone https://github.com/bosch-ros-p ...

Kinect深度图与摄像头RGB的标定与配准(文末总结不容错过)

Kinect深度图与摄像头RGB的标定与配准(文末总结不容错过)相关推荐

最新文章

热门文章