读real time localization and 3D reconstruction笔记

在本文中，我们描述了一种估计校准摄像机（在实验车辆上定位）和环境的立体几何形状的运动的方法。使用的唯一数据是视频输入。实时计算相机运动的稳健估计，选择关键帧并允许特征3D重建。由于引入了快速且局部的束调整方法，该算法特别适合于长图像序列的重建，该方法确保沿着序列估计的相机姿势的良好准确性和一致性。与全局捆绑调整相比，它还大大降低了计算复杂性。

一增量算法的描述

算法首先确定将用于设置全局帧和系统集合的第一个三元组图像。然后用特征检测和匹配对视频流的每个帧执行稳健的姿势计算。选择一些帧成为用于3D点三角测量的关键帧。系统以增量方式运行，当添加新的关键帧和3D点时，我们继续进行局部束调整。

1.1兴趣点的检测和匹配

检测哈里斯角，然后对于图1中的兴趣点，选择图2中定义的感兴趣区域中一些候选对应点，然后计算两个图中兴趣点和候选对应点及候选点邻域的相关，选择相关高的对作为对应点对。

1.2序列初始化

我们要选择相对较远的帧才能计算极线几何，但是又要有足够多的共同点。

1.选择我们作为关键帧，距离稍远，但是有M个匹配的兴趣点，与也有M个匹配的兴趣点，而与至少有个兴趣点。

2. 作为世界坐标系。

3.用5点算法和RANSAC算前三个帧相对位姿。

4.兴趣点三角化为3D点，用中的匹配点。

5.LM算法完成位姿估计和三维坐标优化。

1.3实时鲁棒的姿态估计

我们假设相机姿势至先前已在参考重建框架中计算过。目标是计算相机位姿，我们匹配最后一帧和最后选择的关键帧确定一组点p，它们在相机上投影位置已知，而且这组点的3D位置也已经算过了。

1.从重建的3D点，我们使用Grunert姿势估计算法来计算相机的位置C.（RANSAC过程给出了相机的初始估计Ç然后优化RT，用快速LM优化。）

2.计算我们相机的协方差矩阵接，我们可以画90％的置信椭圆，如果Cov是协方差矩阵那么置信椭圆有，服从分布。

1.4 关键帧的选择和3D点的重建

并非所有的输入帧都被考虑用于3d重建，我们设置了一个标准，指示是否必须将新帧添加为关键帧。（标准：1.有足够的匹配点，2.计算位姿的确定性高）

确定了关键帧之后，对匹配点使用标准的三角测量方法进行重建。

1.5 局部束调整

当选择出最后一个关键帧加入系统，则执行优化阶段。