本文作者 沈玥伶，公众号：计算机视觉life，编辑部成员

一、相机与IMU的融合

在SLAM的众多传感器解决方案中，相机与IMU的融合被认为具有很大的潜力实现低成本且高精度的定位与建图。这是因为这两个传感器之间具有互补性：相机在快速运动、光照改变等情况下容易失效。而IMU能够高频地获得机器人内部的运动信息，并且不受周围环境的影响，从而弥补相机的不足；同时，相机能够获得丰富的环境信息，通过视觉匹配完成回环检测与回环校正，从而有效地修正IMU的累计漂移误差。

二、什么是相机与IMU外参？

足够准确的相机与IMU外参是实现相机与IMU融合的定位与建图的前提。相机与IMU之间的外参包括两部分：

(1)相机与IMU之间的相对位姿

如下图所示，相机与IMU之间的相对位姿值的是相机坐标系和IMU坐标系之间的变换，包括相对旋转角和相对平移量。

相机坐标系坐标和IMU坐标系坐标之间满足如下变换关系：

将上式展开可以得到分别得到相机坐标系和IMU坐标系之间旋转角和平移量的变换关系：

(2)相机与IMU之间的时间差

由于触发延时、传输延时的存在，传感器的采样时间和时间戳的时间不匹配，如下图所示，从而导致相机和IMU之间存在时间差td。

td用公式表示为：

将相机的时间戳平移td后，相机与IMU之间实现了同步。

三、为什么需要在线标定？

大部分同学都是从跑公开的数据集开始入门的，这些数据集都给出了传感器的内外参数，不需要我们进行标定。但是，如果想投入到实际应用中，我们就需要使用自己的传感器。对于低成本、自己组装的相机与IMU传感器组合，相机与IMU之间的外参是未知的，这就需要我们对相机与IMU之间的外参进行标定。

对于相机与IMU之间的相对位姿，传统的标定方法往往采用离线的形式，需要手持标定板进行一系列操作，费时费力。对于相机与IMU之间的时间差，由于每次运行时间差都不相同，所以只能依靠在线标定的方法。所谓在线标定方法，指的是在系统运行之初或者系统运行过程中完成标定，这种方法解放了双手，也能够保证足够的精度。

四、相对位姿在线标定方法

(1)VINS基础上的在线标定

港科大沈劭劼实验室提出了在初始化的同时对相机与IMU之间的外参进行标定的方法[1]。流程如下图所示。首先进行相机与IMU之间相对旋转角的标定，标定完成之后进行初始化和相机与IMU之间相对平移量的标定。标定和初始化完成后进行视觉惯性联合的状态估计，并且把标定量也当做待估计的状态放入联合优化中。此在线标定方法被应用于VINS[2]中。代码实现包含于VINS中，VINS的源码已上传至github：https://github.com/HKUST-Aerial-Robotics/VINS-Mono。

(2)VI-ORB-SLAM基础上的在线标定

Weibo Huang等借鉴了(1)中的标定方法，在VI-ORB-SLAM的基础上加上了相机与IMU的相对位姿在线标定[3]。与(1)的不同之处在于，此方法能够在系统运行之初快速得到足够精度的标定结果，没有将外参纳入状态估计的优化变量中，大大节省了计算量。作者暂时没有开源代码。

五、时间差在线标定方法

(1)基于像素点匀速运动的时间差标定方法

此时间差标定方法[4]同样出自港科大沈劭劼实验室并且应用于VINS中。代码实现包含于VINS中，VINS的源码已上传至github：https://github.com/HKUST-Aerial-Robotics/VINS-Mono。

原理为：假设在较短时间内相机从

匀速运动到

，特征点在像素平面上的投影也从

匀速运动至

,像素匀速运动的速度为

。如下图所示。

通过平移像素坐标，将时间差作为优化变量加入投影误差的表达式中，如下面式子所示。

此投影误差项与IMU误差项和初始值误差项相加进行联合非线性优化。每一次优化结束后对时间差进行补偿，最终时间差的标定量逐渐趋于0。

(2)将时间差变量加入IMU预积分表达式中

(1)中的方法引入了像素点匀速运动的假设，不够精确。中科院自动化所的Jinxu Liu等提出的时间差的在线标定方法[5]将时间差加入到IMU预积分表达式中，并且同样作为优化变量参与联合非线性优化。相比于(1)中的方法在表达式上更加复杂，但是带来了更加快速和精确的标定结果。作者暂时没有开源代码。

六、总结

上文我们对相机与IMU之间的相对位姿和时间差的在线标定的最新研究成果进行了列举。由于篇幅有限，我们仅仅介绍了框架层面的东西，感兴趣的读者可以直接阅读参考文献部分给出的相应论文。

实际应用的时候，我们需要根据应用场景和需求选择合适的方法，甚至在现有的方法上做出改进。下表列出了上文提到的方法的各自的适用场景，读者可以据此选择符合条件的方法进行相机与IMU的在线标定。

参考文献

[1] Yang Z , Shen S . Monocular Visual-Inertial State Estimation With Online Initialization and Camera-IMU Extrinsic Calibration[J]. IEEE Transactions on Automation Science and Engineering, 2016, 14(1):1-13.

[2] Tong Q, Li P, Shen S. VINS-Mono: A Robust and Versatile Monocular Visual-Inertial State Estimator[J]. IEEE Transactions on Robotics, 2017, PP(99): 1-17.

[3] Huang W, Liu H, Ieee: Online Initialization and Automatic Camera-IMU Extrinsic Calibration for Monocular Visual-Inertial SLAM[C], 2018 Ieee International Conference on Robotics and Automation, 2018: 5182-5189.

[4] Qin T , Shen S . Online Temporal Calibration for Monocular Visual-Inertial Systems[J]. 2018.

[5] Liu J , Gao W , Hu Z, Ieee: Online Temporal Calibration of Camera and IMU using Nonlinear Optimization[C], 2018 Ieee International Conference on Pattern Recognition, 2018: 1761-1766.

推荐阅读