基本情况

出处：Graeter J, Wilczynski A, Lauer M. Limo: Lidar-monocular visual odometry[C]//2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2018: 7872-7879.

1. 内容介绍

基于LiDAR点云估计对应图片帧中特征点的深度。

LiDAR深度增强的单目VO。包含帧帧位姿估计和滑动窗口BA。

2. 研究背景

VSLAM是使用相机观测环境来同时估计环境的3D结构和相机自运动的问题。最常见的解决方法是BA。

但是BA同时优化所有相机位姿和路标，消耗太大。

为了实现实时的VSLAM，很多优化算法被提出。VSLAM结构如图2所示。包括特征提取，特征预处理，帧帧运动估计，尺度估计，BA和回环检测。由于本文专注于LiDAR辅助的单目里程计，因此不包含回环检测。

图2. VSLAM流程结构。

常见的VSLAM解决方案依赖双目相机。但是基于双目相机的VSLAM需要准确的相机标定。

Krevso等人[12]提出通过分解场学习双目相机的标定偏差。
Geiger等人[7]提出了一种在平移估计中的标定误差补偿方法。

相比之下，LiDAR不需要额外的外参标定，可以得到准确的点云深度。因此，

我们想要组合LiDAR准确的深度估计和相机的强大特征跟踪能力。

我们提出一种从LiDAR中提取图片中特征点的深度的新方法。具体地，我们拒绝不满足局部平面假设的外点，并特殊考虑了地面点。为了达到实时表现，我们仔细设计了先验估计，路标选择和关键帧选择。本文中，我们没有使用任何LiDAR-SLAM算法，因为我们想推动LiDAR深度测量和VO组合的研究边界。

3. 方法

A. 特征提取和预处理

特征提取包括特征跟踪和特征关联。特征跟踪使用viso2库中使用的方法，在30-40ms内提取2000个特征对应。然后需要剔除动态的特征点。为此，我们先建立语义图片[21]，然后在每个特征点周围寻找语义属于动态的点的个数，如果大于一定阈值，则认为该特征点也属于动态点。

B. 尺度估计

为了估计尺度，需要从LiDAR中提取特征点的深度。在本工作中，我们使用单帧激光点云来获得特征点的深度。虽然这导致更少可用的点云数据由于没有使用累积点云，但是这也避免了对运动估计的依赖。

首先将LiDAR点云投影到对应的相机坐标系中，然后对每个特征点，执行如下步骤：

1）首先寻找该特征点周围的矩形框内的激光点。
2）然后对这些激光点按照深度进行划分。
3）寻找最靠近该特征点的深度区间的点云，拟合平面。
4）我们认为该特征点位于该平面上，根据光心和特征点的连线与平面的交点记为该特征点的深度。
5）检测估计深度的准确性：光心和特征点连线与平面的夹角必须小于某个阈值；拒绝深度高于30m的特征点以防外点。

对于地面上的特征点进行特殊处理。首先从LiDAR点云中提取地面，然后直接利用地面点云拟合平面，而不需要第2和第3步。

图3. 矩形框自适应大小。对于每个特征点（绿色），矩形框至少包含两根扫描线的激光点（红点），如中图所示；而不能只包含一根扫描线中的点，如右图所示。

图4. 基于深度划分的平面拟合。如果不事先将点云按照深度划分区间，拟合的平面可能出错（如左图所示）。点云按照深度划分区间后，减少了拟合错误平面的可能。

图5. 地面平面不能按照深度划分区间的方式提取，因此需要特别处理。

C. 帧帧里程计

为了得到BA的初始化结果，我们首先执行帧间运动估计。帧间里程计优化如下问题：

D. 后端优化

为了得到更准确的位姿估计结果，我们在后端对关键帧执行BA。文中详细介绍了关键帧选择和特征点选择策略，但是具体列出选择的流程，这部分的介绍请参考原文。这里着重介绍BA优化问题的具体形式：

4. 实验验证

在KITTI数据集上进行了验证，不同速度下的相对平移误差和相对旋转误差均值如下图所示。

图7. 不同速度下的相对平移和旋转误差均值。

5. 总结

A. 核心思想

提出了一种基于LiDAR点云的视觉特征点深度估计方法，并在BA中添加特征点的深度误差项。

B. 优缺点

实验不充分。如没有进行消融实验。文中提出了许多策略，但没有验证每个策略对精度/鲁棒性的影响程度。

C. 展望

视觉-激光SLAM除勒特征点深度估计外，还有很多有前景的方向，比如紧耦合，语义SLAM等。二者互补的潜力仍然有待挖掘。

参考

【论文阅读41】LIMO: LiDAR-Monocular Visual Odometry

论文笔记_S2D.57_2018-IROS_LIMO:激光雷达单目视觉里程计相关推荐

SLAM论文笔记-使用点和线特征的激光雷达-单目视觉里程计
使用点和线特征的激光雷达-单目视觉里程计首发在泡泡机器人slam公众号标题:Lidar-Monocular Visual Odometry using Point and Line Feature ...
基于点线特征的激光雷达+单目视觉里程计
标题:Lidar-Monocular Visual Odometry using Point and Line Features 作者:Shi-Sheng Huang1, Ze-Yu Ma1, Tai ...
基于平面几何精确且鲁棒的尺度恢复单目视觉里程计
标题:Accurate and Robust Scale Recovery for Monocular Visual Odometry Based on Plane Geometry 作者:Rui T ...
基于地平面的单目视觉里程计绝对尺度估计
点云PCL免费知识星球,点云论文速读. 文章:Ground Plane based Absolute Scale Estimation for Monocular Visual Odometry 作者 ...
单目视觉里程计性能估计
单目视觉里程计性能估计 D3VO: Deep Depth, Deep Pose and Deep Uncertaintyfor Monocular Visual Odometry 论文地址:https ...
基于地面几何约束的单目视觉里程计精确鲁棒尺度恢复（ICRA 2021）
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨paopaoslam 来源丨泡泡机器人SLAM 标题:Accurate and Robust S ...
基于激光雷达的里程计及3D点云地图中的定位方法
本文转载自公众号@点云PCL,基于激光雷达的里程计及3D点云地图中的定位方法 :https://mp.weixin.qq.com/s/laA1YAPBCpqlzdGi0yb2cQ 论文:LOL: Li ...
LiLi-OM: 走向高性能固态激光雷达惯性里程计和建图系统
点击上方"计算机视觉工坊",选择"星标" 干货第一时间送达编辑丨当SLAM遇见小王同学声明: 本文只是个人学习记录,侵权可删.论文版权与著作权等全归原作者所 ...
一文详解固态激光雷达的里程计（loam_livox）
点击上方"计算机视觉工坊",选择"星标" 干货第一时间送达 Loam livox(2019 IROS) 介绍: 大疆出品,必属精品. 固态激光雷达里程计的工作现 ...
固态激光雷达的里程计（loam_livox）
大疆出品,必属精品. 固态激光雷达里程计的工作现阶段还是比较少的,大疆自己出了固态激光雷达后在LOAM的基础上改进了一个适用于固态激光雷达的里程计,该系统可以用在小视场角和非重复性扫描的雷达上.作者已 ...

论文笔记_S2D.57_2018-IROS_LIMO:激光雷达单目视觉里程计