IROS2020 | 鲁棒全景视觉惯性导航系统ROVINS

点击上方“计算机视觉工坊”，选择“星标”

干货第一时间送达

本文由博主：いしょ授权转载，二次转载请联系原作者

原文地址：https://blog.csdn.net/weixin_40224537/article/details/108616424

I. 摘要

视觉里程计的视觉传感器在快速运动或光照突变时很容易受到影响。在视觉感知变得不稳定时保持短期运动，惯性信息可以提高估计运动的质量。基于之前的工作-ROVO，本文介绍了一种能够将惯性信息无缝集成到全向视觉里程计算法中的全局视觉惯性里程计系统(RovINS)：(A)首先在姿态优化公式中加入来自惯性测量的软相对姿态约束，使得在所有视觉特征丢失时能够进行盲运动估计；(B)利用估计速度的预测结果对跟踪中的视觉特征进行初始化，使得特征跟踪对视觉干扰具有更强的鲁棒性。实验结果表明，所提出的Rovins算法的性能明显优于纯视觉算法。

II. 贡献

本文通过捕获运动速度快、光照变化大、拥挤度大的极具挑战性的测试序列，对所提出的Rovins算法的性能进行了评估。
利用运动捕获系统采集了地面真实钻机位姿数据，并进行了定性和定量比较，验证了算法性能的改进。

III. PRELIMINARIES

在ROVO中，使用4个超宽鱼眼摄像机进行运动估计。这些相机配备了220◦FV视场镜头，以最大限度地扩大重叠区域，以便对跟踪的特征进行立体匹配。与传统的单目或立体VO系统相比，ROVO表现出优越的性能，因为特征点一直保持在视野中，直到它们被其他对象遮挡或变得太远。但是，由于单纯依赖于视觉特征点，它仍然具有传统VO算法的局限性。将惯性运动约束融入到ROVO的优化框架中，提出的鲁棒全向视觉惯性导航系统(RovINS)进一步提高了传统VO或ROVO系统的运动估计性能

A. IMU Pre-Integration

B. Notation

世界路标点坐标系变换：

IV. ALGORITHM

假设相机内部参数和IMU-相机的外部参数被校准和给定，并且所有相机与IMU数据同步地捕捉图像，与摄像机时间同步。首先，将原始鱼眼图像变形为混合投影图像，并使用中点预积分传播来自IMU数据的运动。然后，在混合投影图像中进行特征检测和IMU辅助的视内特征跟踪。将来自IMU的传播旋转输入到IMU辅助特征跟踪器，用于预测当前帧中的特征位置。随后是视点间立体特征匹配，以找出相机之间的特征对应。一旦完成数据处理步骤，就检查相机和IMU是否被初始化。如果没有初始化，ROVO执行纯视觉的SFM来处理视觉-惯性对准。然后，使用非线性优化将系统初始化进行优化。

A. Measurement Processing

在整个算法中，对原始输入图像和IMU测量值进行连续处理。最初，原始图像被投影到混合投影图像中，用于特征提取、跟踪和匹配。利用混合投影图像可以最大限度地减少失真，最大限度地实现跨视图的特征匹配和跟踪。这些最初的步骤是特征跟踪从发现到消失的必要步骤。此外，从混合投影图像中提取ORB特征，作为视图内跟踪和视图间匹配的输入。同时，IMU测量值使用预积分方法进行传播。预积分计算前一帧图像的相对位姿变化及其在位姿协方差矩阵中的不确定性。对两个测量值进行处理后，利用预积分的IMU运动提高特征跟踪性能，然后进行跨视图的立体特征匹配。

B. Feature Tracking With Prediction

本文在初始化KLT跟踪器之前，利用预先集成的IMU姿态计算预测的特征位置。在本工作中，当三维特征点可用时，通过IMU传播的运动将三维特征点重新投影到当前图像平面上来完成特征位置预测。否则，如果特征还没有被配准，则只考虑传播的IMU的旋转来进行预测。

C. Vision-Inertial Initialization

松耦合。

1) Vision-Only SFM:

由于它观察的是所有方向，初始运动退化的可能性很小(例如，纯旋转);这种故障情况可以通过检查姿态inliers的数量(50)来过滤。当系统打开时，首先监测是否产生足够的运动(15个关键帧)，然后再进行视觉-惯性对准。

2) Visual-Inertial Alignment:

在本系统中，通过全方位的多视角立体设置，可以直接观察到度量尺度，使IMU和相机测量数据融合，无需考虑初始尺度估计和尺度更新。校准采用Hong（https://xueshu.baidu.com/usercenter/paper/show?paperid=1p5300k00d780a409h4a0vr0sv290912&site=xueshu_se））和Lim（https://xueshu.baidu.com/usercenter/paper/show?paperid=1p5300k00d780a409h4a0vr0sv290912&site=xueshu_se）方法。本文使用改进的编码仅估计了重力方向、初速度和IMU偏差。

D. Optimization-Based Visual-Inertial Odometry

初始化完成后，使用IMU预积分更新当前帧位姿，然后根据研究超宽FOV设置中的重投影误差或单位光线切向误差剔除离群点特征。

剔除离群值后，对当前帧和活动局部窗口W WW中的关键帧的状态向量θ θθ进行视觉和IMU优化。利用Ceres求解器对优化问题进行求解，得到优化状态。

ω 与3D路标被检查为内点的数量成正比。

IMU约束

编辑：计算机视觉life

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「计算机视觉工坊」公众号后台回复：深度学习，即可下载深度学习算法、3D深度学习、深度学习框架、目标检测、GAN等相关内容近30本pdf书籍。

下载2

在「计算机视觉工坊」公众号后台回复：计算机视觉，即可下载计算机视觉相关17本pdf书籍，包含计算机视觉算法、Python视觉实战、Opencv3.0学习等。

下载3

在「计算机视觉工坊」公众号后台回复：SLAM，即可下载独家SLAM相关视频课程，包含视觉SLAM、激光SLAM精品课程。

重磅！计算机视觉工坊-学习交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

觉得有用，麻烦给个赞和在看~