Image Formation Pipeline --- 从2D到3D（二）

Deal with Real World? Rotation & Translation

需要指出的是，在perspective projection这一步，我们处理的点是在以相机为参照系的三维世界坐标系中的，也就是说我们还需要把真实三维世界中的点( WP {}^{W}\!P)转化到以相机为参照系的三维世界坐标系中( CP {}^{C}\!P)。我们可以通过变换坐标系的方法来达到目的，而变换方法为旋转(rotate)和移动(translation)。

坐标系B到A的转换

假设两个坐标系A, B。在三维世界上有一个点P，在坐标系A上观察时，我们称点P为 AP {}^{A}\!P，同理在坐标系B上称之为 BP {}^{B}\!P。如果已知 BP {}^{B}\!P需要求出 AP {}^{A}\!P，我们可以通过矩阵乘法来达到目的：

AP=ATBBP

{}^{A}\!P={}^{A}\!T_B{}^{B}\!P
其中 ATB {}^{A}\!T_B被称为变换矩阵(transformation matrix)。

那该如何得到 ATB {}^{A}\!T_B呢？

首先，我们需要了解如何通过一系列的旋转和移动来进行坐标系变换。假设坐标系B沿坐标轴x旋转了 α \alpha，沿坐标轴y旋转了 β \beta，沿z旋转了 θ \theta；并且沿坐标轴x平移了10个单位(unit)。

那么 ATB {}^{A}\!T_B可以写成：

ATB=[ARBAtB]

{}^{A}\!T_B=\left[ \begin{array}{c|c} {}^{A}\!R_B^{A}\!t_B \end{array} \right]
其中：

ARB=Rot(z,θ)Rot(y,β)Rot(x,α)

{}^{A}\!R_B=Rot(z, \theta)Rot(y, \beta)Rot(x, \alpha)

AtB=⎡⎣⎢⎢1000⎤⎦⎥⎥

{}^{A}\!t_B= \begin{bmatrix} 10 \\ 0 \\ 0 \\ \end{bmatrix}

Rot(x,α)=⎡⎣⎢⎢1000cosαsinα0−sinαcosα⎤⎦⎥⎥

Rot(x, \alpha)= \begin{bmatrix} 1&0&0 \\ 0&cos\alpha&-sin\alpha \\ 0&sin\alpha&cos\alpha \\ \end{bmatrix}

Rot(y,β)=⎡⎣⎢⎢cosβ0−sinβ010sinβ0cosβ⎤⎦⎥⎥

Rot(y, \beta)= \begin{bmatrix} cos\beta&0&sin\beta \\ 0&1&0 \\ -sin\beta&0&cos\beta \\ \end{bmatrix}

Rot(z,θ)=⎡⎣⎢⎢cosθsinθ0−sinθcosθ0001⎤⎦⎥⎥

Rot(z, \theta)= \begin{bmatrix} cos\theta&-sin\theta&0 \\ sin\theta&cos\theta&0 \\ 0&0&1 \\ \end{bmatrix}

坐标系A到B的转换

如果从坐标系A到B呢？我们很容易得到：

BP=(ATB)−1AP

{}^{B}\!P=({}^{A}\!T_B)^{-1}{}^{A}\!P
要知道旋转矩阵 ARB {}^{A}\!R_B是正交矩阵(orthonomal matrix)，所以其逆矩阵等于其转置矩阵，考虑到

AP=ARB(BP)+AtB

{}^{A}\!P={}^{A}\!R_B({}^{B}\!P)+{}^{A}\!t_B
简化写法：

AP=R(BP)+t

{}^{A}\!P=R({}^{B}\!P)+t

RT(AP−t)=BP

R^T({}^{A}\!P-t)={}^{B}\!P
或者：

BP=(RT)AP−RTt

{}^{B}\!P=(R^T){}^{A}\!P-R^Tt
所以得到：

ATB=(BTA)−1=[(BRA)T]−(BRA)T(BtA)

{}^{A}\!T_B=({}^{B}\!T_A)^{-1}=[({}^{B}\!R_A)^T]-({}^{B}\!R_A)^T({}^{B}\!t_A)
这就是两个坐标轴的转换矩阵之间的关系。

另一种转换方法

事实上， ATB=[ARBAtB] {}^{A}\!T_B=\left[ \begin{array}{c|c} {}^{A}\!R_B^{A}\!t_B \end{array} \right] 蕴涵了很重要的几何关系。 ARB {}^{A}\!R_B上的每一列都代表了相对于坐标系A，B坐标系的单位向量，所以又可以写成：

ARB=[AxBAyBAzB]

{}^{A}\!R_B= \begin{bmatrix}{}^{A}\!x_B^{A}\!y_B^{A}\!z_B\end{bmatrix}
而 ATB {}^{A}\!T_B 的第四列 AtB {}^{A}\!t_B 是坐标系B的原点在坐标系A中的坐标。
这样的话，可以由观察得到变换矩阵。

Summary — Camera Matrix

所以，image formation pipeline可以由三个步骤组成，分别为：

最终，我们可以把公式写成：

⎡⎣⎢⎢⎢imximy1⎤⎦⎥⎥⎥=⎡⎣⎢⎢x/ωy/ω1⎤⎦⎥⎥

\begin{bmatrix}{}^{im}\!x\\{}^{im}\!y\\1\end{bmatrix}=\begin{bmatrix}x/\omega\\y/\omega\\1\end{bmatrix}

⎡⎣⎢⎢xyω⎤⎦⎥⎥=⎡⎣⎢⎢⎢f/sx000f/sy0oxoy1⎤⎦⎥⎥⎥[CRCt]⎡⎣⎢⎢⎢⎢XWYWZW1⎤⎦⎥⎥⎥⎥

\begin{bmatrix}x\\y\\\omega\end{bmatrix}=\begin{bmatrix}f/s_x&0&o_x\\0&f/s_y&o_y\\0&0&1\end{bmatrix}\begin{bmatrix}{}^{C}\!R^{C}\!t\end{bmatrix} \begin{bmatrix}X_W\\Y_W\\Z_W\\1\end{bmatrix}
或者更简单的写法：

⎡⎣⎢⎢xyω⎤⎦⎥⎥=M⎡⎣⎢⎢⎢⎢XWYWZW1⎤⎦⎥⎥⎥⎥

\begin{bmatrix}x\\y\\\omega\end{bmatrix}=M\begin{bmatrix}X_W\\Y_W\\Z_W\\1\end{bmatrix}
M就是相机矩阵(camera matrix)，大小为3*4。这个矩阵也是我们在图像转换中需要求得的参数。

下一篇文章将讲述Homography的基本概念，以及如何用python实现几种简单的图像变换。