1. 定义

“Visual-Inertial Odometry“，俗称VIO，是一个使用一个或者多个相机、一个或者多个IMU（Inertial Measurement Units）进行传感器状态测量的技术。所谓的状态，指的是智能体（比如无人机）的特定自由度下的姿态、速度等物理量。在目前实际可选的精确状态估计方案中，VIO是除基于GPS以及基于雷达里程计（LiDAR-based odometry）外的唯一选择。并且由于相机和IMU相比于其他传感器比较廉价，也比较轻便，因此在今天的无人机上普遍配备了VIO用于状态估计。

2. 速览

VIO设计理念在于，将相机和IMU两种的传感器进行数据融合，达到“优势互补”。相机可以在一定的曝光时间内捕获光子以获取到一幅2D的图像，在低速运动时，可以给出非常丰富的环境信息，这些信息在例如地点识别（place recognition）的感知任务上非常实用。然而，标准相机的输出频率是有限的，一般不超过100Hz；并且在基于单目的VO系统中，不能精准估计尺度信息；在处于低纹理（如白墙）、高速运动或者高动态的场景（出现曝光过度或者不足）中时，只基于单目的估计过程缺乏鲁棒性。

相比之下，IMU是一个本体感受传感器（proprioceptive sensor）。也就是说，IMU只测量自身的角速度和外部施加于它的加速度（力），这两个量是与场景信息无关的，因此IMU没有相机遇到的那些困难。由此可见，IMU是基于相机的里程计方案中，实现在低纹理、高速运动和高动态场景中保持估计的鲁棒性的理想补充传感器。

此外，IMU具有很高的数据输出频率(∼1000hz)。但在低加速度和低角速度下，其信噪比较低。并且由于传感器偏差的存在，使用IMU测量进行状态估计会快速积累漂移误差。因此，将相机和IMU结合可以在大部分环境中提供准确和鲁棒的状态估计。

一个典型的VIO系统配置中，相机与IMU器件之间紧密连接，运动时不发生刚性形变，两种传感器以不同的频率输出视觉和惯性的测量值。目前的VIO系统使用一系列的3D路标（landmark）表示环境，以下的等式描述路标点

到2D相机图像坐标系坐标

的投影关系：

其中

表示标准透视投影，其中包含相机内参。而IMU的测量值角速度

和加速度

有如下关系：

请特别注意等式中的值所处的坐标系。其中

是IMU系（也有的称为Body系）下表示的IMU自身的角速度，

是

IMU在世界坐标系下的加速度，

是

世界坐标系下的重力加速度。并且，角速度和加速度的测量值中都包含了噪声和偏移，不同角标的

和

分别为角速度和加速度的偏差和加性噪声（详见 Furgale et al 2013

^[1]）。值得一提的是，对于低成本性能较差的IMU，上述模型可能过于简化，有时还需要考虑尺度因素和轴向偏差带来的额外误差(详见Rehder et al 2016 ^[2])。

VIO 是使用相机和IMU的测量

和

来估计传感器套件（指相机和IMU绑在一起后形成的器件）的过程。我们可以说，VIO就是估计不同时间点

对应的

个状态量：

其中

是IMU六自由度（6-DOF）的姿态，

是IMU的速度，

和

分别是陀螺仪（gyroscope，测量角速度的）和加速计（accelerometer，测量加速度的）的偏差。与仅使用视觉的里程计相比，在利用IMU的测量值时，对速度和偏差进行建模和估计是必不可少的。

VIO系统可以同时兼容多相机与多IMU（MIMC-VINS，暂无论文），但至少需要一个相机和一个IMU。在只有一个运动的相机时，允许我们在不确定的尺度（通常选取初始化阶段采用的尺度）下估计3D环境和相机的运动，因为对于任意的尺度

和任意点

都满足

；而加入了IMU后，速度测量提供了尺度的信息，加速度测量保证了对重力的可观性，IMU也始终知道重力的方向以修正状态的估计（关于可观性的更详细分析可以查阅（Martinelli 2013

^[3]）

根据被融合视觉测量和惯性测量的具体形式，VIO方法可以分为两种范式：松耦合（loosely coupled）和紧耦合（tightly coupled）。理论上来说，基于松耦合的VIO会在两个独立的运动估计过程中分别处理视觉和惯性测量的信息，最终将它们的输出（位置、姿态等）进行融合作为最终的输出。相比之下，紧耦合方法直接从原始的相机和IMU测量值中计算最终输出，例如跟踪的2D特征、角速度和线加速度

。这两种方法的区别显示在上图中。

基于紧耦合的方法比基于松耦合的方法有更高的精度。首先，紧耦合方法中，可以使用两帧视觉测量数据中的IMU积分预测下一帧中的2D特征点位置，加快特征的跟踪。其次，松耦合方法在估计的过程中较少考虑视觉和惯性信息耦合，在状态估计的过程中难以利用视觉测量矫正惯性测量的误差。

3. 一些关键的研究点

3.1 三种主要的VIO范式（paradigm）

现有的VIO方案可以根据一次估计涉及到的待优化状态（主要是相机姿态）数量进行分类，不同的范式与这与计算力的需求和精度相关。

• Full smoothers，基于批量非线性最小二乘优化算法。完整地保留和估计所有的历史状态，允许在状态量更新后执行重线形化（re-linearization）时估计得到更新。
• fixed-lag smoothers，又称滑动窗口估计。只考虑最近一个窗口内的状态（不一定连续）进行优化，在加入新的状态时边缘化旧状态，永久锁定线性化误差，精度较低，但效率高。
• filtering，只估计最近的一个状态，是三种范式中速度最快的，也是早期VIO（或者说状态估计）研究中的热门方法。

近年来，得益于计算机性能的提升，研究的焦点已经转移到fixed-lag smoothers 和 Full smoothers，因为它们能够提供更高的精度。关于更多当前最新的在视觉惯性导航方面的研究进展可以参阅读 Huang 2019 ^[4]的文章。

值得注意的是，我们可以使用不同的方法建模VIO算法。一是可以对测量值和高斯先验使用不同的不确定性表示。例如基于扩展卡尔曼滤波（EKF）的方法使用协方差矩阵表示不确定性，而信息过滤器和平滑器的方法使用信息矩阵（协方差矩阵的逆）或者信息矩阵的平方根（Kaess et al^[5]，Wu et al 2015^[6]）表示。二是测量模型线性化的次数，例如标准EKF只处理一次测量就将其“丢弃”，迭代扩展卡尔曼滤波（IEKF）方法在一个时刻上进行了多次迭代，而平滑方法允许对所有任意状态进行多次线性化。虽然相关的名词术语很多，但底层算法是紧密相关的。例如，可以证明IEKF方法收敛于最大后验（MAP）的解，等价于一般用于平滑的高斯-牛顿算法得到的结果，这在《State Estimation for Robotics》第四章中有相关的讨论。

下面给出三种范式各自的一些近年来研究的讨论。

Filtering

滤波（filtering）算法只对最近的状态进行推理和更新，能够进行高效的估计估计。在经典的滤波方法中，同时对姿态和路标进行估计（状态向量中同时包含姿态和路标位置），这使得求解的复杂度随着估计的路标数呈二次增长。为了使之满足实时性，通常只对少量路标进行跟踪，这方面的研究可以参考Davison et al 2007^[7]; Jones and Soatto 2011^[8]; Bloesch et al 2015^[9] 等工作。

进一步，为了解决路标点过多造成求解复杂度提高的问题，一个办法是使用 structureless 的方式——将路标点从状态向量中进行边缘化。如明尼苏达州大学 Mourikis 等人提出的一种基于 EKF 的 VIO 紧耦合的 SLAM框架 Multi-State Constraint Kalman filter (MSCKF)^[10]中，当某个路标点不可见或者太老时，先通过高斯-牛顿优化方法计算出该路标点的空间位置，然后将多个相机位置下对这个路标点的观测作为一种约束，整合到 EKF更新中，接着把路标点边缘化。无结构化滤波器（structureless filter）的一个缺点是对一系列的路标测量值的处理，要被延后到对每一个路标点的所有测量都获取到的时候进行。不能利用当前所有的视觉信息进行估计，影响了滤波器的精度。

此外，基于滤波的方法存在两个主要的误差来源。第一，滤波器将上一时刻的后验信息（即当前时刻的先验）利用运动方程进行预测，结合当前测量更新到当前状态中，之后便永久删除旧状态，这样的过程基于贝叶斯滤波进行。因此，当系统方程是非线性形式时，线形化造成的误差和错误的离群值测量将会在滤波的过程中被锁定，之后再也不能进行过去某一个状态进行更新，造成不精确的估计结果^[11]。第二，线形化误差会造成滤波器的不一致性（inconsistent）；通常单目+IMU系统在四个方向存在不可观性：惯性系（Global frame）下的位置和绕着重力方向的朝向（航向角yaw），而桶滚角roll 和俯仰角 pitch 由于重力的存在而变得可观，尺度因子由于加速度计的存在而可观，这部分更细致的讨论可以参阅文献 Kottas et al 2012^[12]和 Martinelli 2013 ^[13]。在Kottas et al 2012 ^[12]的结果表明，在错误估计状态下的线性化行为，会在不可观测的方向上增加虚假信息（spurious information）。为了解决这一问题，Huang et al 2008 ^[14] 中提出了 FEJ（ first-estimates jacobian）方法，固定首次线形化时得到的雅可比矩阵，使得不同残差对同一个状态节点求雅克比时，线性化点一致，这样就能避免零空间退化而使得不可观变量变得可观和不一致性的发生。

Fixed-lag Smoothing

固定滞后平滑器（Fixed-lag smoothers） 事实上和“滞后”没多大关系，这一算法的主要思想是：保留最近时间线上一定数量的状态进行估计，将较老的状态进行边缘化，近年来有不少针对这一方法的研究工作：Mourikis and Roumeliotis 2008^[15] ；Sibley et al 2010^[16]；Dong-Si and Mourikis 2011^[17]；Leutenegger et al 2015^[18]。对于高度非线性化的VIO，固定滞后平滑器比滤波方法更准确，因为固定滞后平滑保留了一定数量的历史状态，当这些状态被更新后，可以重新线形化（relinearize）它们。并且，固定滞后平滑器可以在优化后使用离群值拒绝方法（outlier rejection）或者鲁棒代价函数，保证对含离群测量数据的鲁棒性。然而，固定滞后平滑器如基于滤波的方法一样，仍然存在于边缘化旧状态的过程，所以还是存在不一致性和线形化误差（Huang et al 2011^[19]；Dong-Si and Mourikis 2011^[17]；Hesch et al 2014 ^[20]）

因为固定滞后平滑器在一次估计中需要考虑多个状态而不只是最新状态，因此比基于滤波的方法计算开销大一些。此外，对估计窗口外的状态的边缘化，会导致信息矩阵变稠密，这妨碍了利用稀疏矩阵的性质进行加速运算（Walter et al 2007 ^[21]）。为此，有人建议放弃某些测量，而不是将它们边缘化，以保持问题的稀缺性（Leutenegger et al 2015^[18]）。关于边缘化问题的详细由来和讨论，可以在文献 Walter et al 2007 ^[21]中获得更多的解释。

Full Smoothing

全平滑方法通过求解一个大的非线性优化问题来估计整个历史状态（Jung and Taylor 2001^[22]; Sterlow and Singh 2004^[23]; Bryson et al 2009^[24]; Indelman et al 2013^[25]; Patron-Perez et al 2015^[26]）。当状态发生变化时，完全平滑方法会更新全部历史状态的线形化点，因此完全平滑方法保证了最高的精度。但是，更新所有节点使得优化问题复杂度与状态的维数约成立方（cubic）的关系，当轨迹和地图随时间增长时，实时操作很快变得不可行。实际中比较常见的做法是——只保留一些选出的关键帧（keyframes）进行更新（Leutenegger et al 2015^[18]；Qin et al 2017^[27]；Strasdat et al 2010^[28]；Nerurkar et al 2014^[29]），并且将tracking和mapping的划分到并行架构中执行优化过程（Mourikis and Roumeliotis 2008^[15]；Klein and Murray 2009^[30]），这种做法也广泛运用于固定滞后平滑器中。

一项重大的突破是渐进式平滑（incremental smoothing）技术，其中两个里程碑式的工作是iSAM (Kaess et al 2008^[31]) 以及iSAM2 (Kaess et al 2012^[5])技术。它们二者利用因子图的表达性来保持问题的稀疏性，在优化的过程中识别和更新只受新测量值影响的小子集变量。如上图中，渐进式平滑保留了所有的历史状态；其中，图中顶部显示了机器人的姿态地图，检测到回环处使用蓝色虚线表示；图中底部显示了对应的贝叶斯树，红色表示受影响修改的节点小集团，可见，出现在

和

处的回环只影响了一部分的状态节点，而下半部分的两个子树保持不变。比较出名的使用渐进式平滑框架的VIO是 Forster et al 2017的工作：流形上的预积分理论

^[32]。

预积分理论是很自然的结果。在实际融合中，相机和IMU拥有不一样的数据更新频率，这会给全平滑方法以及固定滞后平滑器执行优化时造成困扰。在滤波的方法中，IMU数据一般用于预测模型，而相机用于测量模型，这样一来，自然而然可以处理数据频率不一的问题。然而对于全平滑方法，将每次IMU的测量数据添加为新的状态是不可行的，这将会造成状态维数增加，求解问题的复杂度也急剧上涨。因此，可以将帧之间的IMU的测量做积分，形成相对运动的约束。但是在每次迭代优化后，帧上的状态改变，此时的IMU的测量就需要被重新积分。为了避免这一个问题，Lupton and Sukkarieh 2012^[33]的工作中说明了可以通过相对运动约束的重参数化避免执行重复的积分，这样的重参数化方式被称为“IMU 预积分”（IMU preintegration）。但是他们的工作是基于欧拉角进行的，而后在Forster et al 2017^[32]中，作者使用旋转群SO(3)上的流形结构进行推导，使预积分理论成熟。

3.2 相机-IMU标定

为使VIO能达到最高性能，我们需要进行相机和IMU之间的空间变换和时间偏移（temporal offsets）的标定。相机和IMU的离线标定方法已经是一个被广泛研究的问题，我们可以使用基于滤波（Kelly and Sukhatme 2011 ^[34]）或者基于批优化（ Furgale et al 2013 ^[1]）的方法解决。而在线自标定的方法，在目前先进的VIO算法通常都已集成，在估算相机位姿和路标点的同时，也同时估计相机和IMU之间的空间变换关系（Li and Mourikis 2013 ^[35]；Leutenegger et al 2015^[18]；）。如果相机-IMU组合器件之间没有进行硬件上的同步，那么还需要同时估计相机和IMU之间的时间偏移（Nikolic et al 2014^[36]）。目前，已经有各种不同的离线方法进行时间偏移估计（Furgale et al 2013 ^[1]；Kelly and Sukhatme 2014^[37]），但是很有少有关于在线进行的研究（Li and Mourikis 2013 ^[35]；Qin and Shen 2018 ^[38]）。

一个著名的开源标定工具箱是 Kalibr（Furgale et al 2013 ^[1]），被广泛应用于相机-IMU系统的时空标定。Kalibr 使用连续而非离散的状态表示轨迹，因此可以建模相机和IMU之间的时间偏移。这一工具箱开源在：https://github.com/ethz-asl/kalibr

4. 应用案例

目前，有几个开源的VIO方案可供选择：

• MSCKF （Mourikis and Roumeliotis 2007 ^[10]）全称为Multi-State Constraint Kalman Filter，是基于 EKF 的 VIO 紧耦合的 SLAM框架，构成了很多现代VIO系统的基础（例如Google ARCore和其前身Google Tango）。但是直到现在，还没有官方开源的实现。原始的MSCKF算法提出了一个度量模型，该模型表达了观察特定图像特征的所有相机姿态之间的几何约束，而不需要在状态向量中维护3D路标点位置的估计。在 Zhu et al 2017 ^[39]中实现了一个基于事件相机（Event-based Camera）输入的使用MSCKF后端的里程计，后面该实现被改造成可接收普通相机特征跟踪信息的版本，被开源在 https://github.com/daniilidis-group/msckf_mono
• OKVIS（Leutenegger et al 2015^[18]）全称为 Open Keyframe-based Visual-Inertial SLAM，该方案使用了基于关键帧的滑动窗口（也就是固定滞后平滑器），代价函数由视觉路标的加权重投影误差和加权的惯导误差项组合而成，使用Google Ceres Solver进行非线性优化。前端使用多尺度的Harris角点检测去寻找特征点，并基于BRISK描述子完成两帧之间的数据关联。滑动窗口中较老的关键帧会被边缘化，不再进行估计。需要注意的是，OKVIS并没有针对单目VIO进行优化，在(Leutenegger et al 2015^[18])中给出一个双目配置下的方案，表现出了一定的优越性能。OKVIS提供了一个ROS的package，开源在：https://github.com/ethz-asl/okvis_ros
• ROVIO（Bloesch et al 2015^[9]）全称为Robust Visual Inertial Odometry，是一个基于EKF的紧耦合VIO系统。ROVIO系统新颖的地方在于：基于Robot-Centric坐标系（当前相机坐标系）的bearing vector 和逆深度这三个自由度来参数化路标点。而路标点使用FAST角点特征，对于每一帧图像进行提取图像金字塔，并在EKF框架中的IMU 预测阶段对路标点进行预测，进行图像块（patch）的仿射变换和匹配，接着进行块特征的跟踪。并且，还在更新步骤中引入光度误差参与计算。与OKVIS不同，ROVIO是只开发了单目VIO版本，代码开源在： https://github.com/ethz-asl/rovio
• VINS-Mono（Qin et al 2017^[27]）是一个基于非线性优化的紧耦合滑动窗口估计器，特征点选用GFTT（Good feature to track ^[40]）。VINS-Mono为此类别的估计框架引入了几个新的特性。首先，作者提出了一个松耦合的传感器融合初始化方法，利用 SFM进行纯视觉估计滑窗内所有帧的位姿及 3D点逆深度，最后与IMU预积分进行对齐求解初始化参数。在得到新的IMU测量数据时执行预积分，得到IMU的约束后，与视觉约束和闭环约束共同执行非线性优化，求解姿态和偏移等。除此之外，VINS-Mono基于4-DOF的姿态图（pose graph）执行回环优化。VINS-Mono开发了ROS版本和IOS版本，代码被开源在：https://github.com/HKUST-Aerial-Robotics/VINS-Mono
• SVO+MSF（Forster et al 2014^[41], 2017^[42]，Lynen et al 2013^[43]）MSF（全称 Multi-Sensor Fusion）是基于EKF的融合框架，可接收并融合不同频率、来源的传感器数据，形成一个最终估计。而SemiDirect Visual Odometry (SVO) 是计算轻量的视觉里程计算法，其通过跟踪FAST角点特征和边缘，最小化它们周围图像块的光度误差来完成图像对齐，然后通过非线性最小二乘优化最小化特征的重投影误差，联合优化稀疏对齐结果与场景结构。SVO只根据视觉测量进行位姿估计，其结果输入到MSF中，以松耦合的方式与IMU数据融合（Faessler et al 2016^[44]）。MSF和SVO都是开源的，并提供基于ROS的接口。而SVO 2.0 提供了Binary文件，可以通过以下地址获得：https://github.com/uzh-rpg/rpg_svo_example，MSF的网址是： https://github.com/ethz-asl/ethzasl_msf
• SVO+GTSAM（Forster et al 2017^[32]）使用SVO作为视觉前端，使用了全平滑方法作为后端，而后端的实现基于iSAM2的在线因子图优化^[5]完成。在Forster et al 2017^[32]的流形预积分的工作中展示了该集成系统的结果，该系统引入了预积分因子（pre-integrated IMU factors）用于位姿图的优化。SVO和GTSAM4.0^[45]（集成iSAM2）都是开源的：SVO 2.0 提供了Binary文件，可以通过以下地址获得：https://github.com/uzh-rpg/rpg_svo_example，GTSAM4.0可以通过以下地址获得：Bitbucket

关于上述方案的对比，可以参阅论文 Delmerico and Scaramuzza 2018 ^[46]，里面提供了VIO在不同硬件下的时间、内存消耗的比较，其中部分对里程计的介绍，上述文字已经简略涉及。

最近，Scaramuzza组的研究重点放在了事件相机的应用上，在中^[47]结合了事件相机、标准普通相机和IMU的VIO系统——Ultimate SLAM。从实验结果来看，结合了事件相机的VIO系统比基于普通相机的VIO系统有85%精度上的提升，主要体现为在高速运动、低光环境和高动态范围场景下，具备更优越的鲁棒性。

5. 未来研究方向

未来的研究热点有两个方面：集成互补的传感器(如事件摄像机)，以及新的算法工具(如深度学习)

与普通相机不同，事件摄像机只发送由于在场景中运动时造成亮度变化的像素。并且，有四个突出的优点：非常低的延迟、非常高的输出频率、支持高动态范围以及非常低的功率消耗。这使得基于事件相机的VIO系统非常适合配置在高速运动的智能体上（Gallego et al 2017^[48]；Rebecq et al 2017^[49]; Rosinol Vidal et al 2018^[50]）或者在高动态范围的环境中使用（Kim et al 2016^[51]；Rebecq et al 2017^[52]；Rosinol Vidal et al 2018^[47]）。但是，由于事件相机的输出是由一系列异步事件组成的，传统的基于帧的计算机视觉算法不能直接应用，必须开发新的算法来处理异步数据。

一个健壮的VIO系统，不应该仅仅利用环境几何特征和传感器测量模型，还应利用关于环境的语义/上下文信息，以及特定于应用场景的运动动力学先验信息。在这一方面，深度视觉(-惯性)测程技术(Costante et al 2016^[53]；Wang et al 2017^[54]；Zhou et al 2017^[55]；Clark et al 2017^[56])已经取得了很好的初步成果，特别是在解决标准相机的开放挑战方面，如光圈问题、运动模糊、散焦和低能见度情况。然而，目前端到端方法在准确性上仍无法与传统方法相媲美。

本文来自 Visual-Inertial Odometry of Aerial Robots, Davide Scaramuzza and Zichao Zhang, accepted for publication in the Springer Encyclopedia of Robotics, 2019，小改

参考

1. ^^abcdFurgale P, Rehder J, Siegwart R (2013) Unified temporal and spatial calibration for multi-sensor systems. In: IEEE/RSJ Int. Conf. Intell. Robot. Syst. (IROS)
2. ^Rehder J, Nikolic J, Schneider T, Hinzmann T, Siegwart R (2016) Extending kalibr: Calibrating the extrinsics of multiple IMUs and of individual axes. In: IEEE Int. Conf. Robot. Autom. (ICRA)
3. ^Martinelli A (2013) Observability properties and deterministic algorithms in visual-inertial structure from motion. Foundations and Trends in Robotics pp 1–75
4. ^Huang G (2019) Visual-inertial navigation: A concise review. In: IEEE Int. Conf. Robot. Autom. (ICRA)
5. ^^abcKaess M, Johannsson H, Roberts R, Ila V, Leonard J, Dellaert F (2012) iSAM2: Incremental smoothing and mapping using the Bayes tree. Int J Robot Research 31:217–236
6. ^Wu KJ, Ahmed AM, Georgiou GA, Roumeliotis SI (2015) A square root inverse filter for efficient vision-aided inertial navigation on mobile devices. In: Robotics: Science and Systems (RSS)
7. ^Davison AJ, Reid ID, Molton ND, Stasse O (2007) MonoSLAM: Real-time single camera SLAM. IEEE Trans Pattern Anal Machine Intell 29(6):1052–1067
8. ^Jones ES, Soatto S (2011) Visual-inertial navigation, mapping and localization: A scalable realtime causal approach. Int J Robot Research 30(4)
9. ^^abBloesch M, Omari S, Hutter M, Siegwart R (2015) Robust visual inertial odometry using a direct EKF-based approach. In: IEEE/RSJ Int. Conf. Intell. Robot. Syst. (IROS)
10. ^^abMourikis AI, Roumeliotis SI (2007) A multi-state constraint Kalman filter for vision-aided inertial navigation. In: IEEE Int. Conf. Robot. Autom. (ICRA), pp 3565–3572
11. ^Tsotsos K, Chiuso A, Soatto S (2015) Robust inference for visual-inertial sensor fusion. In: IEEE Int. Conf. Robot. Autom. (ICRA)
12. ^^abKottas DG, Hesch JA, Bowman SL, Roumeliotis SI (2012) On the consistency of vision-aided inertial navigation. In: Int. Symp. Experimental Robotics (ISER)
13. ^Martinelli A (2013) Observability properties and deterministic algorithms in visual-inertial structure from motion. Foundations and Trends in Robotics pp 1–75
14. ^Huang GP, Mourikis AI, Roumeliotis SI (2008) A first-estimates jacobian EKF for improving SLAM consistency. In: Int. Symp. Experimental Robotics (ISER)
15. ^^abMourikis AI, Roumeliotis SI (2008) A dual-layer estimator architecture for long-term localization. In: Proc. of the Workshop on Visual Localization for Mobile Platforms at CVPR, Anchorage, Alaska
16. ^Sibley G, Matthies L, Sukhatme G (2010) Sliding window filter with application to planetary landing. J Field Robot 27(5):587–608
17. ^^abDong-Si TC, Mourikis A (2011) Motion tracking with fixed-lag smoothing: Algorithm consistency and analysis. In: IEEE Int. Conf. Robot. Autom. (ICRA)
18. ^^abcdefLeutenegger S, Lynen S, Bosse M, Siegwart R, Furgale P (2015) Keyframe-based visual-inertial SLAM using nonlinear optimization. Int J Robot Research
19. ^Huang GP, Mourikis AI, Roumeliotis SI (2011) An observability-constrained sliding window filter for SLAM. In: IEEE/RSJ Int. Conf. Intell. Robot. Syst. (IROS), pp 65–72
20. ^Hesch JA, Kottas DG, Bowman SL, Roumeliotis SI (2014) Camera-IMU-based localization: Observability analysis and consistency improvement. Int J Robot Research 33(1):182–201
21. ^^abWalter, Matthew R., Ryan M. Eustice, and John J. Leonard. "Exactly sparse extended information filters for feature-based SLAM." The International Journal of Robotics Research 26.4 (2007): 335-359.
22. ^Jung SH, Taylor C (2001) Camera trajectory estimation using inertial sensor measurements and structure fom motion results. In: IEEE Int. Conf. Comput. Vis. Pattern Recog. (CVPR)
23. ^Sterlow D, Singh S (2004) Motion estimation from image and inertial measurements. Int J Robot Research
24. ^Bryson M, Johnson-Roberson M, Sukkarieh S (2009) Airborne smoothing and mapping using vision and inertial sensors. In: IEEE Int. Conf. Robot. Autom. (ICRA), pp 3143–3148
25. ^Indelman V, Wiliams S, Kaess M, Dellaert F (2013) Information fusion in navigation systems via factor graph based incremental smoothing. J Robot and Auton Syst 61(8):721–738
26. ^Patron-Perez A, Lovegrove S, Sibley G (2015) A spline-based trajectory representation for sensor fusion and rolling shutter cameras. Int J Comput Vis 113(3):208–219, DOI 10.1007/ s11263-015-0811-3
27. ^^abQin, Tong, Peiliang Li, and Shaojie Shen. "Vins-mono: A robust and versatile monocular visual-inertial state estimator." IEEE Transactions on Robotics 34.4 (2018): 1004-1020.
28. ^Strasdat H, Montiel J, Davison A (2010) Real-time monocular SLAM: Why filter? In: IEEE Int. Conf. Robot. Autom. (ICRA)
29. ^Nerurkar E, Wu K, Roumeliotis S (2014) C-KLAM: Constrained keyframe-based localization and mapping. In: IEEE Int. Conf. Robot. Autom. (ICRA)
30. ^Klein G, Murray D (2009) Parallel tracking and mapping on a camera phone. In: IEEE ACM Int. Sym. Mixed and Augmented Reality (ISMAR)
31. ^Kaess M, Ranganathan A, Dellaert F (2008) iSAM: Incremental smoothing and mapping. IEEE Trans Robot 24(6):1365–1378
32. ^^abcdForster C, Carlone L, Dellaert F, Scaramuzza D (2017a) On-manifold preintegration for real-time visual-inertial odometry. IEEE Trans Robot 33(1):1–21, DOI 10.1109/TRO.2016.2597321
33. ^Lupton T, Sukkarieh S (2012) Visual-inertial-aided navigation for high-dynamic motion in built environments without initial conditions. IEEE Trans Robot 28(1):61–76
34. ^Kelly J, Sukhatme GS (2011) Visual-inertial sensor fusion: Localization, mapping and sensor-tosensor self-calibration. Int J Robot Research 30(1):56–79, DOI 10.1177/0278364910382802
35. ^^abLi M, Mourikis AI (2013) 3-d motion estimation and online temporal calibration for camera-imu systems. In: 2013 IEEE International Conference on Robotics and Automation, pp 5709–5716, DOI 10.1109/ICRA.2013.6631398
36. ^Nikolic J, Rehder J, Burri M, Gohl P, Leutenegger S, Furgale P, Siegwart R (2014) A synchronized visual-inertial sensor system with FPGA pre-processing for accurate real-time SLAM. In: IEEE Int. Conf. Robot. Autom. (ICRA)
37. ^Kelly J, Sukhatme GS (2014) A General Framework for Temporal Calibration of Multiple Proprioceptive and Exteroceptive Sensors, Springer Berlin Heidelberg, Berlin, Heidelberg, pp 195–209. DOI 10.1007/978-3-642-28572-1 14, URL https://doi.org/10.1007/ 978-3-642-28572-1_14
38. ^Qin T, Shen S (2018) Online temporal calibration for monocular visual-inertial systems. In: IEEE/RSJ Int. Conf. Intell. Robot. Syst. (IROS)
39. ^Zhu AZ, Atanasov N, Daniilidis K (2017) Event-based visual inertial odometry. In: IEEE Int. Conf. Comput. Vis. Pattern Recog. (CVPR), pp 5816–5824
40. ^Shi J, Tomasi C (1994) Good features to track. In: IEEE Int. Conf. Comput. Vis. Pattern Recog. (CVPR), pp 593–600, DOI 10.1109/CVPR.1994.323794
41. ^Forster C, Pizzoli M, Scaramuzza D (2014) SVO: Fast semi-direct monocular visual odometry. In: IEEE Int. Conf. Robot. Autom. (ICRA), pp 15–22, DOI 10.1109/ICRA.2014.6906584
42. ^Forster C, Zhang Z, Gassner M, Werlberger M, Scaramuzza D (2017) SVO: Semidirect visual odometry for monocular and multicamera systems. IEEE Trans Robot 33(2):249–265, DOI 10.1109/TRO.2016.2623335
43. ^Lynen S, Achtelik M, Weiss S, Chli M, Siegwart R (2013) A robust and modular multi-sensor fusion approach applied to MAV navigation. In: IEEE/RSJ Int. Conf. Intell. Robot. Syst. (IROS)
44. ^Faessler M, Fontana F, Forster C, Mueggler E, Pizzoli M, Scaramuzza D (2016) Autonomous, vision-based flight and live dense 3D mapping with a quadrotor MAV. J Field Robot 33(4):431450, DOI 10.1002/rob.21581
45. ^Dellaert F (2012) Factor graphs and GTSAM: A hands-on introduction. Tech. Rep. GT-RIMCP&R-2012-002, Georgia Institute of Technology
46. ^Delmerico J, Scaramuzza D (2018) A benchmark comparison of monocular visual-inertial odometry algorithms for flying robots. In: IEEE Int. Conf. Robot. Autom. (ICRA)
47. ^^abRosinol Vidal T, Rebecq H, Horstschaefer T, Scaramuzza D (2018) Ultimate slam? combining events, images, and imu for robust visual slam in hdr and high speed scenarios. IEEE Robotics and Automation Letters (RA-L), 2018 DOI 10.1109/lra.2018.2793357
48. ^Gallego G, Lund JEA, Mueggler E, Rebecq H, Delbruck T, Scaramuzza D (2017) Event-based, 6DOF camera tracking from photometric depth maps. IEEE Trans Pattern Anal Machine Intell DOI 10.1109/TPAMI.2017.2658577
49. ^Rebecq H, Gallego G, Mueggler E, Scaramuzza D (2017a) EMVS: Event-based multi-view stereo—3D reconstruction with an event camera in real-time. Int J Comput Vis pp 1–21, DOI 10.1007/s11263-017-1050-6
50. ^Rosinol Vidal T, Rebecq H, Horstschaefer T, Scaramuzza D (2018) Ultimate slam? combining events, images, and imu for robust visual slam in hdr and high speed scenarios. IEEE Robotics and Automation Letters (RA-L), 2018 DOI 10.1109/lra.2018.2793357
51. ^Kim H, Leutenegger S, Davison A (2016) Real-time 3d reconstruction and 6-dof tracking with an event camera. In: Eur. Conf. Comput. Vis. (ECCV)
52. ^Rebecq H, Horstsch¨afer T, Gallego G, Scaramuzza D (2017b) EVO: A geometric approach to event-based 6-DOF parallel tracking and mapping in real-time. IEEE Robot Autom Lett 2:593600, DOI 10.1109/LRA.2016.2645143
53. ^Costante G, Mancini M, Valigi P, Ciarfuglia T (2016) Exploring representation learning with cnns for frame-to-frame ego-motion estimation. In: IEEE Int. Conf. Robot. Autom. (ICRA)
54. ^Wang S, Clark R, Wen H, Trigoni N (2017) Deepvo: Towards end-to-end visual odometry with deep recurrent convolutional neural networks. In: IEEE Int. Conf. Robot. Autom. (ICRA)
55. ^Zhou T, Brown M, Snavely N, Lowe DG (2017) Unsupervised learning of depth and ego-motion from video. In: IEEE Int. Conf. Comput. Vis. Pattern Recog. (CVPR), pp 6612–6619, DOI 10.1109/CVPR.2017.700
56. ^Clark R, Wang S, Wen H, Markham A, Trigoni N (2017) VINet: Visual-inertial odometry as a sequence-to-sequence learning problem. In: AAAI Conf. Artificial Intell.