极几何，本质矩阵，基础矩阵，单应矩阵，相机投影矩阵

什么是三角化？

三角化就是下图的红字部分：K和K’分别为两个相机的内参矩阵

什么是极几何？

极几何描述了同一场景或者物体在两个视点图像间的对应关系。
下图中的O1和O2分别是两个相机的光心，即摄像机坐标系的原点。由下图可知给定了一个三维空间下的P点，虽然不知道对应的成像平面上像素点p和p’在哪个位置，但是我知道它一定在l和l’这两条极线上。这样就不会全图去找了，只用在极线上去搜索了。再比如给定一个图像上的p点，找另一个图像上对应的p’点就可以通过极几何约束，将搜索范围缩小到对应的极线上：

什么是本质矩阵

本质矩阵是表示对规范化摄像机拍摄的两个视点图像间的极几何关系进行代数描述。用规范化相机就可以用这条规律：图像点的齐次坐标等于相机坐标系下对应三维点的欧式坐标，这样的话就方便求解了
如下图所示图像I上的点p像素坐标是（u，v），那么p的齐次坐标就是（u，v，1），因为齐次坐标和像素坐标的转换关系就是齐次坐标系的第一维除以第三维得到像素坐标系的x坐标，用第二维除以第三维就得到像素坐标系的y坐标，用公式表示就是（u/1,v/1）。图中K为相机内参矩阵，R和T为相机O1坐标系到相机O2坐标系的变换。

下图左边红字的推导中Tx转置=-Tx，等式等于0，0这是一个数字，所以转置没有写。推导最后就是为了得到了下图红框中的表达式，下图红框中的E=[T×R]就是本质矩阵，描述了规范化摄像机坐标系下，两张图上对应的两个像素坐标之间的关系。

什么是规范化摄像机：如下图所示，就是相机内参矩阵M长下图这个样子的就叫规范化相机

利用下图红框中的等式可以得到以下推论（E是本质矩阵等于[T×R]，p和p’是图像上的齐次坐标即3乘1的矩阵，E是3乘3的矩阵，l和l’都是指像素坐标下的，0是代表一个数而不是矩阵。
奇异是指不是满秩，秩为2的矩阵乘以可逆矩阵秩不改变，所以本质矩阵的秩为2。K是内参矩阵是3乘3的）：

什么是基础矩阵

基础矩阵描述的是一般的透视摄像机拍摄的两个视点的图像间的极几何关系
求解一般的透视摄像机拍摄的两个视点的图像间的极几何关系的思路是把一般的透视相机先变换到规范化相机，然后再利用上述规范化相机的求解方法求解。如下图红框所示，F就是基础矩阵，F刻画了两幅图像的极几何关系，即相同场景在不同视图中的对应关系。基础矩阵F建立点和极线的对应关系，F矩阵包含了相机内参数信息和两个相机间的旋转平移信息。，K为两个相机的内参数矩阵。：

利用下图红框中的等式可以得到以下推论（p和p’是图像上的齐次坐标即3乘1的矩阵，F是3乘3的矩阵，l和l’都是指像素坐标下的，0是代表一个数而不是矩阵，奇异是指不是满秩，K是内参矩阵是3乘3的，T×的意思见上面叉乘的矩阵表示形式，[Tx]R就是本质矩阵。了解有几个自由度其实就是为了知道求解需要几个方程。）：
至于为什么基础矩阵的自由度为7可以参照以下这个链接：
https://blog.csdn.net/CSSDCC/article/details/122131478?ops_request_misc=&request_id=&biz_id=102&utm_term=%E4%B8%BA%E4%BB%80%E4%B9%88%E5%9F%BA%E7%A1%80%E7%9F%A9%E9%98%B5%E6%98%AF7%E4%B8%AA%E8%87%AA%E7%94%B1%E5%BA%A6&utm_medium=distribute.pc_search_result.none-task-blog-2_allsobaiduweb~default-0-122131478.142^v44pc_rank_34_default_3&spm=1018.2226.3001.4187

基础矩阵F怎么来？

因为基础矩阵F刻画了两幅图像的极几何关系，即相同场景在不同视图中的对应关系。F矩阵包含了相机内参数信息和两个相机间的旋转平移信息。所以我们更多时候是利用对应关系去估计出F矩阵，然后从F矩阵中想办法弄出我们想要的内参数和相机之间的旋转平移，去做三角化三维重建。

八点算法：

构建W矩阵和对W矩阵进行奇异值分解得到f，然后f可以按照上图写回成F尖矩阵：

八点算法步骤：

u和v作为图像的像素坐标，数值变化范围太大，会造成以下的问题：

所以我们采用归一化八点法，让两张图单独处理，两张图上的所有点坐标的均值在（0,0）中心点，然后让所有像素点到中心的距离的平方全部累加起来除以点的个数等于2。

T和T’矩阵就是指上图的归一化：

单应矩阵

因为基础矩阵刻画了两幅图像的极几何关系，即相同场景在不同视图中的对应关系。如果在此基础上增加一个假设：即对应的三维空间点都来自同一个平面，这样的话，一般的透视摄像机拍摄的两个视点的图像间的极几何关系就用单应矩阵H来描述。单应矩阵建立点和点的对应关系，而基础矩阵建立点和极线的对应关系

单应矩阵H下的像素点p和p’具有一一对应关系（下图的平面方程是指Ax+By+Cz+d=0）：

如果我们拿到的8对像素点在三维空间正好位于一个平面上时或者两个相机之间只有旋转而无平移，我们只能用单应矩阵去估计，来恢复出摄像机的外参数（指两个相机之间的旋转平移关系）和内参数。基础矩阵对于同一个平面的点是干不动的

相机投影矩阵

摄像机位姿就是摄像机在世界坐标系的位置和朝向即相对于世界坐标系的R和T，在多相机的情况下，我们可以把某一个相机坐标系当成世界坐标系，但不一定都这样做，取决于具体情况