多视图几何总结——从本质矩阵恢复摄像机矩阵

本质矩阵是归一化坐标下基本矩阵的特殊形式，具有五个自由度，我们通过八点法或者五点法可以求出本质矩阵，那么我们如何从中恢复出我们实际想要的RRR和ttt呢？我们得从性质入手。

（1）本质矩阵性质

多视图几何上定义：一个3×3的矩阵是本质矩阵的充要条件是它的奇异值中有两个相等而第三个是0，为什么呢？
首先我们知道E=[t]×R=SRE=[t]_{ \times} R=S RE=[t]×R=SR其中S为反对称矩阵，反对称矩阵有什么性质呢？

结论1：如果SSS是实的反对称矩阵，那么S=UBUTS=UBU^TS=UBUT，其中BBB为形如diag(a1Z，a2Z...amZ，0，0...0)diag(a_1Z，a_2Z...a_mZ，0，0...0)diag(a1Z，a2Z...amZ，0，0...0)的分块对角阵，其中Z=[01−10]Z=\begin{bmatrix}0 & 1 \\ -1 & 0\end{bmatrix}Z=[0−110]，反对称矩阵的特征矢量都是纯虚数并且奇数阶的反对称矩阵必是奇异的

那么根据这个结论我们可以将SSS矩阵写成S=kUZU⊤\mathrm{S}=k \mathrm{UZU}^{\top}S=kUZU⊤，而Z\mathrm{Z}Z为Z=[010−100000]\mathrm{Z}=\left[ \begin{array}{ccc}{0} & {1} & {0} \\ {-1} & {0} & {0} \\ {0} & {0} & {0}\end{array}\right] Z=⎣⎡0−10100000⎦⎤而ZZZ由可以写成Z=diag⁡(1,1,0)W\mathrm{Z}=\operatorname{diag}(1,1,0) \mathrm{W}Z=diag(1,1,0)W，其中W\mathrm{W}W为W=[0−10100001]\mathrm{W}=\left[ \begin{array}{ccc}{0} & {-1} & {0} \\ {1} & {0} & {0} \\ {0} & {0} & {1}\end{array}\right] W=⎣⎡010−100001⎦⎤因此这个EEE矩阵可以分解为E=SR=Udiag⁡(1,1,0)(WU⊤R)\mathrm{E}=\mathrm{SR}=\mathrm{U} \operatorname{diag}(1,1,0)\left(\mathrm{WU}^{\top} \mathrm{R}\right) E=SR=Udiag(1,1,0)(WU⊤R)这样就证明了EEE拥有两个相等的奇异值

（2）从本质矩阵恢复摄像机矩阵

假定第一个摄像机矩阵是P=[I∣0]\mathrm{P}=[\mathrm{I} | 0]P=[I∣0]，为了计算第二个摄像机矩阵P′\mathrm{P}^{\prime}P′，必须把EEE矩阵分解为反对成举着和旋转矩阵的乘积SR\mathrm{SR}SR。
还是根据上面的结论一，我们在相差一个常数因子的前提下有S=UZUT\mathrm{S}=\mathrm{U} \mathrm{ZU}^{\mathrm{T}}S=UZUT，我们假设旋转矩阵分解为UXVT\mathrm{UXV}^{\mathrm{T}}UXVT，则有Udiag⁡(1,1,0)VT=E=SR=(UZUT)(UXV⊤)=U(ZX)VT\mathrm{U} \operatorname{diag}(1,1,0) \mathrm{V}^{\mathrm{T}}=\mathrm{E}=\mathrm{SR}=\left(\mathrm{UZU}^{\mathrm{T}}\right)\left(\mathrm{UXV}^{\top}\right)=\mathrm{U}(\mathrm{ZX}) \mathrm{V}^{\mathrm{T}} Udiag(1,1,0)VT=E=SR=(UZUT)(UXV⊤)=U(ZX)VT则有ZX=diag⁡(1,1,0)\mathrm{ZX}=\operatorname{diag}(1,1,0)ZX=diag(1,1,0)，因此x=W\mathrm{x}=\mathrm{W}x=W或者X=WT\mathrm{X}=\mathrm{W}^{\mathrm{T}}X=WT

结论：如果EEE的SVD分解为Udiag⁡(1,1,0)V⊤\mathrm{U} \operatorname{diag}(1,1,0) \mathrm{V}^{\top}Udiag(1,1,0)V⊤，E=SR\mathrm{E}=\mathrm{SR}E=SR有两种分解形式，分别是：S=UZU⊤R=UWVTor UW TV⊤\mathrm{S}=\mathrm{UZU}^{\top} \quad \mathrm{R}=\mathrm{UWV}^{\mathrm{T}} \text {or UW }^{\mathrm{T}} \mathrm{V}^{\top} S=UZU⊤R=UWVTor UW TV⊤

接着分析，又因为St=0\mathrm{St}=0St=0（自己和自己叉乘肯定为0嘛）以及∥t∥=1\|\mathbf{t}\|=1∥t∥=1（对两个摄像机矩阵的基线的一种常用归一化），因此t=U(0,0,1)T=u3\mathbf{t}=\mathrm{U}(0,0,1)^{\mathrm{T}}=\mathbf{u}_{3}t=U(0,0,1)T=u3，即矩阵UUU的最后一列，这样的好处是不用再去求SSS了，应为t\mathbf{t}t的符号不确定，RRR矩阵有两种可能，因此其分解有如下四种情况：P′=[UWVT∣+u3]or [UWVT∣−u3]or[UWTVT∣+u3]or [UWTVT∣−u3]\mathrm{P}^{\prime}=\left[\mathrm{UWV}^{\mathrm{T}} |+\mathbf{u}_{3}\right] \text { or }\left[\mathrm{UWV}^{\mathrm{T}} |-\mathbf{u}_{3}\right] or \left[\mathrm{UW}^{\mathrm{T}} \mathrm{V}^{\mathrm{T}} |+\mathbf{u}_{3}\right] \text { or }\left[\mathrm{UW}^{\mathrm{T}} \mathrm{V}^{\mathrm{T}} |-\mathbf{u}_{3}\right] P′=[UWVT∣+u3] or [UWVT∣−u3]or[UWTVT∣+u3] or [UWTVT∣−u3]
就是下面这张图展示的

然后用空间中的一个点作测试，验证它是否在两个摄像机前面就可以从两个不同解中确定一个作为摄像机矩阵

到这里就OK啦，有问题欢迎交流～

此外，对SLAM算法感兴趣的同学可以看考我的博客SLAM算法总结——经典SLAM算法框架总结