机器视觉学习笔记（6）——双目摄像机标定参数说明

标签：机器视觉

阅读本文之前请先阅读以下两篇博文：
机器视觉学习笔记（4）——单目摄像机标定参数说明
机器视觉学习笔记（5）——基于OpenCV的单目摄像机标定

1.双目摄像机需要标定的参数

双目摄像机需要标定的参数有摄像机内参数矩阵，畸变系数矩阵，本征矩阵，基础矩阵，旋转矩阵以及平移矩阵
其中摄像机内参数矩阵和畸变系数矩阵可以通过单目标定的方法标定出来
双目摄像机标定和单目摄像机标定最主要的区别就是双目摄像机需要标定出左右摄像机坐标系之间的相对关系

2.旋转矩阵R和平移矩阵T说明

任意两个坐标系之间的相对位置关系都可以通过两个矩阵来描述：旋转矩阵R和平移矩阵T。我们此处用R和T来描述左右两个摄像机{camera}坐标系的相对关系，具体为将左摄像机{camera}下的坐标转换到右摄像机{camera}下的坐标。

假设空间中有一点P，其在{world}坐标系下的坐标为PWP_W，其在左右摄像机{camera}坐标系下的坐标可以表示为：

{PlPr=RlPW+Tl=RrPW+Tr(1)

\left\{ \begin{aligned} P_l&=R_lP_W+T_l\\ P_r&=R_rP_W+T_r \end{aligned} \right.\tag{1}
其中 PlP_l和 PrP_r又有如下的关系：

Pr=RPl+T(2)

P_r=RP_l+T\tag{2}
注：双目摄像机分析中往往以左摄像机{camera}为主坐标系，但是RR和TT却是左{camera}向右{camera}转换，所以TxT_x为负数

综合（1）（2）两式，可以推得：

{RT=RrRTl=Tr−RTL(3)

\left\{ \begin{aligned} R&=R_rR_l^T\\ T&=T_r-RT_L \end{aligned} \right.\tag{3}
单目标定中相机外参数就是此处的 RlR_l， TlT_l， RrR_r和 TrT_r，带入（3）式就可以求出R和T。

3.本征矩阵EE说明

对级几何在双目问题中非常的重要，可以简化立体匹配等问题，而要应用对级几何去解决问题，比如求级线，需要知道本征矩阵或者基础矩阵，因此双目标定过程中也会把本征矩阵和基础矩阵算出来。之所以说是算，因为这两个矩阵与R和T并不独立。

本征矩阵常用字母EE来表示，其物理意义是左右{picture}坐标系相互转换的矩阵，可以描述左右摄像机图像平面上对应点之间的关系。

假设空间中有一点P，其在{world}坐标系下的坐标为PWP_W，其在左右摄像机{camera}坐标系下的坐标可以为PlP_l和PrP_r，右{camera}坐标系原点在左{camera}坐标系的坐标为Tr=[Tx,Ty,Tz]TT_r=[T_x,T_y,T_z]^T，则有：

Pr=R(Pl−Tr)(4)

P_r=R(P_l-T_r)\tag{4}
则通过点TrT_r的所有点的PlP_l所组成的平面（即极面）可以用下式表示：

(Pl−Tr)T(Pl×Tr)=0(5)

(P_l-T_r)^T(P_l\times T_r)=0\tag{5}
将Pl×TrP_l\times T_r写成矩阵相乘的形式：

Pl×Tr=SPl(6)

P_l\times T_r=SP_l\tag{6}
其中SS为：

S=⎡⎣⎢0Tz−Ty−Tx0TxTy−Tx0⎤⎦⎥(7)

S=\begin{bmatrix} 0 & -T_x & T_y \\ T_z & 0 & -T_x \\ -T_y & T_x & 0 \end{bmatrix}\tag{7}
综合（5）（6）式可得：

PTrRSPl=0(8)

P_r^TRSP_l=0\tag{8}
乘积RSRS即为本征矩阵EE，利用投影方程将（8）式简化：

PTprEPpl=0(9)

P_{pr}^TEP_{pl}=0\tag{9}
（9）式描述了同一物理点在左右摄像机图像平面上投影在{picture}下的关系。

4.基础矩阵F说明

双目系统中，常常只对{pixel}坐标系下的坐标感兴趣，所以给本征矩阵EE加上相机内参数矩阵MM的相关信息，就可得到描述同一物理点在左右摄像机图像平面上投影在{pixel}下的关系。

将（9）式结合Ppix=MPpP_{pix}=MP_p可得：

PTpixr(M−1r)TEM−1lPpixl=0(10)

P_{pixr}^T(M_r^{-1})^TEM_l^{-1}P_{pixl}=0\tag{10}
由此可将基础矩阵 FF定义为：

F=(M−1r)TEM−1l(11)

F=(M_r^{-1})^TEM_l^{-1}\tag{11}
最终得到同一物理点在左右摄像机图像平面上投影在{pixel}下的关系：

PTpixrFPpixl=0(10)

P_{pixr}^TFP_{pixl}=0\tag{10}

5.总结

单目摄像机需要标定的参数双目都需要标定
双目摄像机比单目摄像机多标定的参数（RR和TT）主要是描述两个摄像机相对位置关系的参数，这些参数在立体校正和对极几何中用处很大
本征矩阵EE描述的是同一点投影在{picture}坐标系下的关系，单位为mm
基础矩阵FF描述的是同一点投影在{pixel}坐标系下的关系，单位为pix