文章：SA-LOAM: Semantic-aided LiDAR SLAM with Loop Closure

作者：Lin Li1 , Xin Kong1 , Xiangrui Zhao1 , Wanlong Li2 , Feng Wen2 , Hongbo Zhang2 and Yong Liu

编译：点云PCL

代码：暂未开源（有希望开源）

本文仅做学术分享，如有侵权，请联系删除。欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈。内容如有错误欢迎评论留言，未经允许请勿转载！

公众号致力于分享点云处理，SLAM，三维视觉，高精地图相关的文章与技术，欢迎各位加入我们，一起每交流一起进步,有兴趣的可联系微信：920177957。本文来自点云PCL博主的分享，未经作者允许请勿转载，欢迎各位同学积极分享和交流。

摘要

基于激光雷达的SLAM系统是一种更精确和稳定的系统，但其闭环检测仍然是一个悬而未决的问题。随着点云三维语义分割技术的发展，可以方便、鲁邦地获取点云的语义信息，是实现高水平智能化的关键，有利于SLAM的实现。在这篇文章中，作者提出了一种新的基于LOAM的语义辅助lidar-slam，称为SA-LOAM，它充分利用里程计和回环检测中的语义信息，具体来说，提出了一个语义辅助的ICP方案，包括语义匹配、下采样和平面约束，并在回环检测模块中集成了基于语义图的位置识别方法，借助于语义信息，可以提高定位精度，有效地进行闭环检测，甚至在大规模场景中也可以构造一个全局一致的语义地图。在KITTI和Ford校园数据集上的大量实验表明，该系统显著提高了LOAM性能，对未知数据具有泛化能力，取得了与现有方法相比较有竞争力的结果。

图1：语义辅助LOAM在KITTI数据集01上构建的语义图，不同的颜色代表不同的语义信息，放大的点是图的节点。上图给出了一个基于语义图的回环检测实例。

介绍

论文的回环检测模块是基于之前的工作，它将3D场景转换为语义图，并通过图匹配深度学习网络获得场景相似度，我们将其与回环候选生成、几何验证相结合，并维护一个轻量级的语义图，以实现高效、稳定的回环闭合检测。图1展示了结果。我们的贡献如下：

•提出了一个完整的基于LiDAR的语义SLAM系统，即使在大规模场景中也能构建一个全局一致的语义地图。

•提出了一种基于LOAM的语义辅助ICP方法，充分利用了语义信息，提高了里程计的精度。

•在系统中集成了一种基于语义的回环检测方法，并维护了一个图形地图，以便有效地进行回环检测并消除累积的错误。

•在KITTI和Ford Campus数据集上的实验表明，与最先进的方法相比，该系统实现了具有竞争力的性能。

主要内容

A.系统概述

在这一部分，我们对所提出的语义信息辅助激光雷达SLAM系统进行了全面的介绍。图2是我们的方法的流程。首先将原始点云P送入现成的语义分割方法中，得到具有逐点类标签的语义点云S、 L是语义范畴的个数，然后语义点云S被发送到里程估计模块以提取平坦的平面特征和梯度明显的边缘特征，这些特征随后被用于通过与局部地图配准的方法来估计里程信息，同时，将语义点云S转换为语义图表示为G，并进一步输入到回环检测模块，当检测到一个闭环时，我们将更新姿态图并优化姿态，因此可以逐步提高全局语义地图的质量。

图2 方法的流程图

B 语义信息辅助ICP

LOAM利用边缘和平面特征来配准点云，实现准确快速的建图和定位，我们利用语义信息对该方法进行了扩展，具体改进如下：

•首先，受SE-NDT文章的启发，我们将特征分别按语义标签和配准进行划分，降低了误匹配的概率。

•其次，根据点云的语义标签分别对点云进行降采样，同时为了提高效率，现有的方法大多通过体素网格滤波对点云进行降采样。然而，一些包含有用信息的小对象将不可避免地被过滤掉。我们是基于语义的下采样对不同类型的对象使用不同的采样率，并且可以有效地维护小对象的信息，如图3所示。

•第三，我们利用语义来约束平面拟合，基于地平面应平行于水平面且垂直于建筑表面的假设，可以去除拟合不良的平面。

图3：提出的基于语义信息的下采样后可视化结果。大多数方法采用体素网格下采样，造成小目标的信息丢失，而我们的方法有效地保留了有价值的小目标点

C 基于语义信息的回环检测

回环检测模块主要包括回环候选生成、相似性评分、几何验证和位姿图优化，候选生成部分根据里程计提出潜在的环路候选，相似性评分是基于我们之前的工作，它通过一个图相似性网络快速估计成对语义图的相似性，对遮挡和视点变化具有鲁棒性，然后，利用ICP进行几何验证，排除可能的错误方案，避免灾难性的误报闭环，最后，通过位姿图优化来更新更精确的位姿。

实验

在这一部分，设计了实验来证明：

（1）我们的语义辅助ICP可以有效地提高里程计的精度；（2）我们的基于语义的环路闭合检测模块可以有效地减少累积误差，帮助建立一个全局一致的地图；

（3）我们的系统具有对不可见数据的泛化能力。

为了评估每一个提出方案是如何有助于提高性能，这里分别提出了基于语义信息辅助里程计和通过回环检测闭合进一步优化后的里程信息进行比较，此外，将我们的方法与几种最先进的基于纯激光雷达的SLAM方法进行了比较，如LOAM、FLOAM、SUMA、SUMA++和ISC-LOAM。

为了验证方案泛化能力，在Ford Campus数据集上进行了实验，评估了RTE和ATE。方法中使用的所有模型都是在KITTI上预先训练的，在训练阶段从未见过Ford 的数据。

图5显示Ford数据集的序列01上的相对平移误差。由于所有方法的参数都在KITTI上进行了调整，因此它们在Ford上的性能通常较差。然而，基于SUMA的方法受到的影响更为严重，因为我们发现由于传感器设置的不同，投影图像比KITTI上的投影图像稀疏。在所有方法中，我们的算法相对误差最小。

表IV显示了ATE，我们的循环在两个序列上都优于其他循环，此外，在所有的方法中，只有我们的LOOP成功地纠正了图6所示的LOOP闭包，注意Ford上的语义切分比KITTI上的要差得多，如图7所示，这将不可避免地影响后续的性能，SUMA++和我们的方法使用相同的语义，而我们的方法执行得更一致，受益于语义图表示。

总结

本文提出了一种具有回环检测的语义信息辅助激光雷达SLAM系统，利用语义信息来提高点云配准的精度，并设计了基于语义图的回环检测模块来消除累积误差，在KITTI基准数据集上的评估结果表明，基于语义的ICP能够有效地提高里程计的精度，基于语义的循环闭合检测对于构建大规模场景下的全局一致性地图至关重要，在Ford校园数据集上的实验表明，该方法可以推广到更多的三维场景，达到了最先进的性能。

资源

三维点云论文及相关应用分享

【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法

3D目标检测：MV3D-Net

三维点云分割综述（上）

3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割（2020）

win下使用QT添加VTK插件实现点云可视化GUI

JSNet：3D点云的联合实例和语义分割

大场景三维点云的语义分割综述

PCL中outofcore模块---基于核外八叉树的大规模点云的显示

基于局部凹凸性进行目标分割

基于三维卷积神经网络的点云标记

点云的超体素(SuperVoxel)

基于超点图的大规模点云分割

更多文章可查看：点云学习历史文章大汇总

SLAM及AR相关分享

【开源方案共享】ORB-SLAM3开源啦！

【论文速读】AVP-SLAM：自动泊车系统中的语义SLAM

【点云论文速读】StructSLAM:结构化线特征SLAM

SLAM和AR综述

常用的3D深度相机

AR设备单目视觉惯导SLAM算法综述与评价

SLAM综述(4)激光与视觉融合SLAM

Kimera实时重建的语义SLAM系统

SLAM综述(3)-视觉与惯导，视觉与深度学习SLAM

易扩展的SLAM框架-OpenVSLAM

高翔：非结构化道路激光SLAM中的挑战

SLAM综述之Lidar SLAM

基于鱼眼相机的SLAM方法介绍

往期线上分享录播汇总

第一期B站录播之三维模型检索技术

第二期B站录播之深度学习在3D场景中的应用

第三期B站录播之CMake进阶学习

第四期B站录播之点云物体及六自由度姿态估计

第五期B站录播之点云深度学习语义分割拓展

第六期B站录播之Pointnetlk解读

[线上分享录播]点云配准概述及其在激光SLAM中的应用

[线上分享录播]cloudcompare插件开发

[线上分享录播]基于点云数据的 Mesh重建与处理

[线上分享录播]机器人力反馈遥操作技术及机器人视觉分享

[线上分享录播]地面点云配准与机载点云航带平差

如果你对本文感兴趣，请后台发送“知识星球”获取二维码，务必按照“姓名+学校/公司+研究方向”备注加入免费知识星球，免费下载pdf文档，和更多热爱分享的小伙伴一起交流吧！

以上内容如有错误请留言评论，欢迎指正交流。如有侵权，请联系删除

扫描二维码

关注我们

让我们一起分享一起学习吧！期待有想法，乐于分享的小伙伴加入免费星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉，点云，高精地图，自动驾驶，以及机器人等相关的领域。

分享及合作方式：微信“920177957”（需要按要求备注） 联系邮箱：dianyunpcl@163.com，欢迎企业来联系公众号展开合作。

点一下“在看”你会更好看耶