相机模型坐标系关系及转换

简介

相机模型是以后一切标定算法的关键，简单来说是从世界坐标系换到图像坐标系的过程，也就是求最终的投影矩阵的过程，由投影过程求出相机的外参数和内参数。

四个坐标系

世界坐标系（world coordinate）(Xw,Yw,ZwXw,Yw,ZwX_w,Y_w,Z_w)，也称为测量坐标系，是一个三维直角坐标系，以其为基准可以描述相机和待测物体的空间位置。世界坐标系的位置可以根据实际情况自由确定。
相机坐标系（camera coordinate）(Xc,Yc,ZcXc,Yc,ZcX_c,Y_c,Z_c)，也是一个三维直角坐标系，原点位于镜头光心处，X、y轴分别与相面的两边平行，Z轴为镜头光轴，与像平面垂直。
成像平面坐标系 (X,Y)(X,Y)(X,Y)：像素坐标系不利于坐标变换，因此需要建立图像坐标系XOY，其坐标轴的单位通常为毫米（mm），原点是相机光轴与相面的交点（称为主点），即图像的中心点，X轴、Y轴分别与U轴、V轴平行。故两个坐标系实际是平移关系，即可以通过平移就可得到。
像素坐标系 (U,VU,VU,V)是一个二维直角坐标系，反映了相机CCD/CMOS芯片中像素的排列情况。原点O位于图像的左上角，U轴、V轴分别于像面的两边平行。像素坐标系中坐标轴的单位是像素（整数）。

标定过程

世界坐标系转换到相机坐标系，这是三维到三维点的转换，包括R，t（相机外参，确定了相机在某个三维空间中的位置和朝向）等参数
从相机坐标系转换为成像平面坐标系（像素坐标系），这是三维点到二维点的转换，包括K（相机内参，对相机物理特性的近似）等参数

坐标转换

世界坐标系转换为相机坐标系

⎡⎣⎢⎢⎢XcYcZc1⎤⎦⎥⎥⎥=[ROTt1]⎡⎣⎢⎢⎢XwYwZw1⎤⎦⎥⎥⎥[XcYcZc1]=[RtOT1][XwYwZw1]

\left[\begin{matrix}X_c \\ Y_c \\Z_c\\1\end{matrix}\right] = \left[\begin{matrix}R & t \\ O^T & 1\end{matrix}\right]\left[\begin{matrix} X_w \\ Y_w \\ Z_w \\ 1\end{matrix}\right]

其中R∈R3∗3R∈ℝ3∗3R\inℝ^{3*3}为正交旋转矩阵，t∈R3∗1t∈ℝ3∗1t\inℝ^{3*1} 为三维平移向量

相机坐标系转化为成像平面坐标系

设成像平面上一点坐标m(x,y)m(x,y)m(x,y) ，对应相机坐标系点M(xc,yc,zc)M(xc,yc,zc)M(x_c,y_c,z_c)相机焦距f（相机坐标系原点与成像平面原点的距离），由三角形相似原理得

x=fxcZc，y=fyczcx=fxcZc，y=fyczc

x=f \frac {x_c}{Z_c}，y=f\frac {y_c}{z_c}

换成矩阵形式

Zc⎡⎣⎢XY1⎤⎦⎥=⎡⎣⎢f000f0001000⎤⎦⎥⎡⎣⎢⎢⎢XcYcZc1⎤⎦⎥⎥⎥Zc[XY1]=[f0000f000010][XcYcZc1]

Z_c\left[\begin{matrix}X\\Y\\1\end{matrix}\right]=\left[\begin{matrix}f&0&0&0\\0&f&0&0\\0&0&1&0\end{matrix}\right]\left[\begin{matrix}X_c\\Y_c\\Z_c\\1\end{matrix}\right]

成像平面坐标系转换为像素坐标系

假定每个像素在U,V轴方向上的物理尺寸为dx,dy（实际表示感光芯片上像素的实际大小，可以理解为一个像素所表示的成像平面的尺寸大小）

由

U−U0=xdx,V−V0=ydyU−U0=xdx,V−V0=ydy

U-U_0=\frac{x}{dx} , V-V_0=\frac{y}{dy} 得

⎡⎣⎢UV1⎤⎦⎥=⎡⎣⎢⎢1dx0001dy0u0v01⎤⎦⎥⎥⎡⎣⎢XY1⎤⎦⎥[UV1]=[1dx0u001dyv0001][XY1]

\left[\begin{matrix}U\\V\\1\end{matrix}\right]=\left[\begin{matrix}\frac{1}{dx}&0&u_0\\0&\frac{1}{dy}&v_0\\0&0&1\end{matrix}\right]\left[\begin{matrix}X\\Y\\1\end{matrix}\right]

世界坐标系转像素坐标系

结合上上述三个矩阵变换可得最后转换矩阵为

Zc⎡⎣⎢UV1⎤⎦⎥=⎡⎣⎢⎢1dx0001dy0u0v01⎤⎦⎥⎥⎡⎣⎢f000f0001000⎤⎦⎥[ROTt1]⎡⎣⎢⎢⎢XwYwZw1⎤⎦⎥⎥⎥=⎡⎣⎢αx000αy0u0v01000⎤⎦⎥[ROTt1]⎡⎣⎢⎢⎢XwYwZw1⎤⎦⎥⎥⎥=M1M2Xw=MXwZc[UV1]=[1dx0u001dyv0001][f0000f000010][RtOT1][XwYwZw1]=[αx0u000αyv000010][RtOT1][XwYwZw1]=M1M2Xw=MXw

Z_c\left[\begin{matrix}U\\V\\1\end{matrix}\right]=\left[\begin{matrix}\frac{1}{dx}&0&u_0\\0&\frac{1}{dy}&v_0\\0&0&1\end{matrix}\right]\left[\begin{matrix}f&0&0&0\\0&f&0&0\\0&0&1&0\end{matrix}\right] \left[\begin{matrix}R & t \\ O^T & 1\end{matrix}\right]\left[\begin{matrix} X_w \\ Y_w \\ Z_w \\ 1\end{matrix}\right]=\left[\begin{matrix}\alpha_x&0&u_0&0\\0&\alpha_y&v_0&0\\0&0&1&0\end{matrix}\right] \left[\begin{matrix}R & t \\ O^T & 1\end{matrix}\right]\left[\begin{matrix} X_w \\ Y_w \\ Z_w \\ 1\end{matrix}\right]=M_1M_2X_w=MX_w

其中M1,M2M1,M2M_1,M_2 为相机的内参和外参