立体视觉（Stereo Vision）-本征矩阵（essential matrix）和基本矩阵(fundamental matrix)

1 物体深度

问题描述：从不同的位置拍摄相同物体的两张图片，恢复其深度

这里假设摄像机的镜头平行

由相似三角形：

由上面第一、二等式可得：

深度与视差成反比

2 如何配对左右图片的点

问题描述：已知两张图像，由不同的照相机拍下，在左图中选一点，

如何在右图中找到对应的点。

由上图可知，

左图中点 x 对应在右图中的点位于线段 l' 上

右图中点 x‘ 对应在左图中的点位于线段 l 上

2.1 极线几何（epipolar geometry）的基本概念

基线（baseline）: 连接两个照相机中心点的线段，如图中的OO'。
极平面（epipolar plane）: 由两个相机中心点, 和物体X组成的平面，如图中的OO'X。
极点（epipoles）: 基线与两张图像的交点，如图中的e, e'。
极线（epipolar lines）: 极平面与两张图像的交线，如图中的 l ，l'。

2.2 极线约束（epipolar constraint）

2.2.1 calibrated case

这种情况，相机的内参和外参已知，极线几何工作在一对归一化相机（normalized camera）.

归一化相机（normalized camera）使形成的归一化图像平面位于Z=1处。

图像归一化（ image normalization）是指对图像进行了一系列标准的处理变换，使之变换为一固定标准形式的过程。

归一化的图像可以减少几何变换的影响，加快梯度下降求最优解的速度。

在世界坐标系中，如果把一个相机位于原点，另一个相机的位置可以通过旋转和平移得到。

两者关系如下图所示，右边相机的位置可以通过旋转（R）和平移（T）得到。

从上图可知：向量Rx，位移 t 和点 x' 共面，所以：

其中矩阵 E 为本征矩阵（essential matrix）

由于矩阵 [ tx] 的秩为2，矩阵R的秩为3，所以 E 的秩为2.

E有5个未知数（2个平移，3个旋转）。

在向量的叉乘运算中，把第一个向量写成矩阵的形式：

其中矩阵 [ax] 的秩为2.

假设右边图像上点x'=（u', v'）

穿过点 x' 的直线 l' 可以表示为：au’+bv'+c=0;

其中沿直线 l' 的向量可以表示为： $l'=\begin{bmatrix} a & b & c \end{bmatrix}^T$

所以 $x'^Tl'=0$ 或 $l'^Tx'=0$

$l'=Ex$ ，即左图中点 x 对应的右图中的点 x' 位于线段 l' 上
同理， $l=E^Tx'$ ,即右图中点 x‘ 对应的左图中的点 x 位于线段 l 上
$Ee=0$
$E^Te'=0$

2.2.2 Uncalibrated case

在这种情况下，两个相机的内参矩阵 K 和 K’ 未知。

从相机坐标系到像素坐标系的对应关系：

$x_p=Kx_c$

其中 $x_p$ 为像素点坐标， $x_c$ 为相机坐标系的坐标， $K$ 为内参矩阵。

$x_c=K^{-1}x_p$

代入上式： $x'^TEx=0$

化简：

$(K'^{-1}x_p')^TE(K^{-1}x_p)=0 \\[0.1mm]\\\Rightarrow (x_p'^TK'^{-T})E(K^{-1}x_p)=0\\[0.1mm] \\\Rightarrow x_p'^T(K'^{-T}EK^{-1})x_p=0$

令 $F=K'^{-T}EK^{-1}$

则： $x_p'^TFx_p=0$

F 称为基本矩阵（fundamental matrix）

与calibrated case 类似，uncalibrated case也有类似的结论：

$l'=Fx$ , 即左图中像素点 x 对应的右图中的像素点 x' 位于线段 l' 上
$l'=F^Tx'$ , 即右图中像素点 x‘ 对应的左图中的像素点 x 位于线段 l 上
$Fe=0$
$F^Te'=0$

如果觉得上面的推论有跳跃性，下面链接的博客推导非常详细：

计算机视觉基础4——对极几何(Epipolar Geometry)

计算机视觉基础5——本质矩阵与基本矩阵(Essential and Fundamental Matrices)

3 求解基本矩阵（fundamental matrix）

已知两对点：

转化为凸优化问题：

其解为： $A^TA$ 的最小特征值的特征向量。