Ultimate SLAM？利用事件相机解锁高速运动、高动态范围场景

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

本篇文章主要介绍 2018 年 ICRA 的一篇论文:

Rosinol Vidal, A., Rebecq, H., Horstschaefer, T., Scaramuzza, D.,
Ultimate SLAM? Combining Events, Images, and IMU for Robust Visual SLAM in HDR and High Speed Scenarios,
IEEE Robotics and Automation Letters (RA-L), 3(2):994-1001, Apr. 2018. PDF, YouTube, Poster, Project page, ICRA18 video pitch.

这篇论文提出了首个将 Event-based Camera（事件相机）、Traditional Frame-based Camera（传统相机）与 IMU 三者结合的一个 SLAM pipeline（其实我觉得称其为 VIO 更加合适...）。

Event-based Camera 具有高速、高动态范围（HDR）等优点，关于其介绍的资料很多，这里不再赘述。

主要贡献

提出了首个融合了 Event Camera、传统相机、IMU 三者的 state estimation pipeline。鲁棒性好、精度高，并可在环境光照大幅突变、高速运动等情况下正常工作。这个 pipeline 可以看作是作者组里的上一篇论文《Real-time Visual-Inertial Odometry for Event Cameras using Keyframe-based Nonlinear Optimization》（Event+IMU）的扩展，将传统相机的 image 给加了进来。然后做了一些改进，使其可以在移动机器人上实时运行。
定量分析了将传统相机的 image 数据加进来之后，本文提出的方法在计算负荷仍然满足的情况下，状态估计精度的提升。并在真实无人机上进行了评测，可以 onboard 实时运行。并且可以在低光照、光照突变和高速运动等场景中正常飞行。

我个人认为，这篇工作主要基于 okvis 的那一套 formulation，再往优化函数里面加入一项 events frame 的重投影误差项。这样做的细节和带来的好处将在下文中提到。

具体工作

本文提出的 pipeline：

图像数据处理：首先基于 spatial-temporal window 和 IMU 的测量量，将 Event-based Camera 产生的 events 合成运动补偿（为适应高速运动场景）的 virtual event frames；此外还有传统相机的 image frames。然后对这两者分别进行 FAST 角点检测，L-K 光流法做 tracking，triangulation 出 landmark 的空间坐标、计算重投影误差，作为两个误差项。然后 IMU 的做法也就是传统的紧耦合 VIO 中常见的方法，这里不再赘述。

1. Coordinate Frame Notation

Event-based Camera、传统相机与 IMU 三者之间的外参由事先标定好。

2. Spatio-temporal Windows of Events

上面提到，要一个合成 virtual event frame，所以这个时候就要确定一个如何选取event 合成 frame 的策略。作者提出了一个Spatio-temporal Window，即以传统相机的 frame 的到来时间tk为基准，选取此前的N个 events 来作为合成 frame 的 events。下图的 example 为N=4的样例，在论文中的实验中，选取了N=20000。这个N是要取决于场景中纹理的多少的。

3. Synthesis of Motion-Compensated Event Frames

对于进行运动补偿的图示和效果，在作者的另一篇（也就是上面提到的这篇的前作）中有图例展示：

4. Feature Tracking

作者同时在event frames 和 standard camera frames上分别进行 FAST 角点检测，并通过 KLT 进行跟踪。两者是完全相互独立的。这里的做法也就比较常规了，每个feature被当作candidate feature，在多帧之间进行跟踪。当它可以被可靠的三角化，就三角化为空间中的 3D 点 landmark，并被当作为 persistent feature用于更长远的后面帧的一直跟踪。当被跟踪的feature小于一个阈值，这个时候就重新进行feature detection。在两种frame上用于 feature 检测和跟踪的参数是一样的。

5. Visual-inertial Fusion through Nonlinear Optimization

构造了如下的 cost function：

很直观，这是一个帧数为K的sliding window中进行的优化，前面一项就是两种frames的重投影误差，其中i表示是是event还是传统相机。第二项就是 IMU的误差项。这些就是标准VIO的标配了，具体可见okvis，这里不再赘述。

作者论文中提到，这种优化方式，自然而然就会往当前工作状态更好的sensor去靠近。比如当前环境光照很低，传统相机效果极差，但event的工作较好，优化自然会更多的利用event的信息。

6. Additional Implementation Details

6.1 Initialization

初始化的时候，认为系统是静止的。收集一段时间的IMU的测量量来估计初始位姿，并且初始化陀螺仪与加速度计的bias。

6.2 No-Motion Prior for Almost-Still Motions

当近乎静止的时候，系统此时几乎是没有event输出的。为了应对这种情况，当检测到event的产生速率低于一定的阈值的时候（论文中提到为 1000events/s，measure window 为 20ms），就在优化问题中加一个速度为零的强先验。

论文实验

在数据集上，作者设定了不同的对比实验。详细的论文实验和参数设置请详见论文。这里简单放一些结果。

同时采用三者（Fr+E+I）与只采用（E+I）、只采用（Fr+I）进行对比：

（Fr+E+I）与当前的 SOTA 的（E+I）方案进行对比：

作者在真实无人机上进行实验。飞控使用 PX4，onboard computer使用 Odroid。相机下视，作者做了绕圈飞和悬停的实验；以及飞行过程中的开关灯，导致环境光照剧烈变化。

飞行时的图片样例：

视频演示地址：

https://youtu.be/jIvJuWdmemE

本文仅做学术分享，如有侵权，请联系删文。

推荐阅读：

专辑|相机标定
专辑|3D点云
专辑|SLAM
专辑|深度学习与自动驾驶
专辑|结构光
专辑|事件相机
专辑|OpenCV学习
专辑|学习资源汇总
专辑|招聘与项目对接
专辑|读书笔记

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近1200+星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、可答疑解惑、助你高效解决问题