文章：Hybrid Bird’s-Eye Edge Based Semantic Visual SLAM for Automated Valet Parking

作者：Zhenzhen Xiang, Anbo Bao and Jianbo Su

编译：点云PCL

来源：ICRA2021

本文仅做学术分享，如有侵权，请联系删除。欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈。内容如有错误欢迎评论留言，未经允许请勿转载！

公众号致力于分享点云处理，SLAM，三维视觉，高精地图相关的文章与技术，欢迎各位加入我们，一起每交流一起进步,有兴趣的可联系微信：920177957。本文来自点云PCL博主的分享，未经作者允许请勿转载，欢迎各位同学积极分享和交流。

摘要

基于视觉的定位和建图解决方案有望在自动代客泊车任务中采用，本文提出了一种利用鸟瞰图像混合边缘信息的语义SLAM框架，为了从合成的鸟瞰图像和可行驶空间中提取有用的边缘用于SLAM任务，设计了不同的分割方法来去除视图合成中由逆透视变换引起的噪声眩光边缘和扭曲的边缘线，由于只有可行驶空间分割模型需要训练，与以往基于道路标记的方法相比，我们的方法可以显著减少标记的负担，这些不正确和不完整的边缘分别通过局部建图中连续边缘的时间融合来进一步清理和恢复，可以同时实时构建语义边缘点云地图和占用栅格地图，在一个停车场的实验表明，与以往的基于点特征的方法相比，该框架具有更高的精度和更强的鲁棒性。

介绍

与传统的直接处理多幅原始图像的视觉SLAM框架不同，本文主要研究了利用逆透视变换（IPM）技术从车辆周围四幅鱼眼图像合成的鸟瞰图像作为输入，将鸟瞰图像作为输入的主要优点是大大减少了计算量，这在实时应用中非常重要。

如图1所示，鸟瞰图图像可以以360度保存车辆周围地面上的大部分视野信息，由于停车场景中通常存在复杂的照明条件（如地面反射的眩光）和大量动态对象（如移动的汽车和行人），因此执行SLAM任务是一项非常具有挑战性的任务，为了处理这些困难的情况，随着深度学习的发展，最近的工作试图训练一个深度神经网络，以便提取语义信息，从而实现更精确和更稳健的定位和建图。尽管这些方法已经取得了重大进展，但需要大量的标记图像来训练模型，特别是当系统适应新的不常见环境时。

图1。我们的自动代客泊车解决方案概述，包括（a）我们的自动车辆上的鱼眼摄像头捕获的样本图像，（b）通可行驶空间分割结果的视图合成生成的鸟瞰视图图像，（c）语义视觉SLAM系统的提取边缘，以及（d）构建的边缘点云地图以及轨迹。

在本文中，我们提出了一种混合语义信息提取方法，该方法结合了经典的无监督边缘线检测器和一组基于IPM的边缘分割方法。如图1（b）所示，我们的框架只需要对可行驶空间进行粗略分割，而不需要对道路标线进行精细分割，这可以大大减少数据标注的负担，使用我们的边缘分割方法，可以利用IPM的先验知识对大多数噪声和扭曲的边缘（例如眩光边缘和地面上物体的轮廓）进行过滤（图1（c））。因此，可行驶空间内的鸟瞰图的边缘线和可行驶空间的轮廓都可以组合为混合边缘信息，并输入SLAM系统进行定位和建图，我们发现，图1（d）中生成的边缘点云地图清楚地反映了地面上的道路标记。

相关工作

A.多相机系统的视觉SLAM

增加视觉SLAM系统中的相机数量可以显著提高系统的准确性和鲁棒性，因此，越来越多最先进的视觉SLAM框架，如SVO、VINS Fusion和OpenVINS等方案均支持多相机配置，不同的相机型号和不同的相机设置已被广泛研究。最近，Kuo等人重新设计了适用于任意多相机系统的视觉SLAM框架，该框架可以适应各种摄像机配置。虽然直接处理来自多个摄像机的原始图像可以最大限度地利用原始信息，但它也需要强大的计算平台，可能不适合实时应用，作为替代方案，最近的工作还研究了使用合成鸟瞰图或周围视图图像，这可以有效地运行SLAM任务，并具有相当的准确性。

B.自动驾驶中的语义视觉SLAM

语义辅助视觉SLAM近年来在自主驾驶领域得到了广泛的研究，特别是随着深度学习的快速发展，通用语义视觉SLAM主要关注语义提取和数据关联。语义分割和对象检测模型广泛用于提取点级和对象级语义，这为SLAM带来了额外的语义和几何约束，以获得更稳定和准确的性能，然而，由于基于深度学习的模型通常需要大量手动标记的数据进行训练，因此这些方法可能需要很长时间才能转移到新的场景中，因此，我们考虑设计一种仅需要粗自由空间分割结果的混合边缘提取方法，该方法可以比先前标记帧的方法快约10倍。

C.自动代客泊车应用

AVP应用的基于视觉的解决方案是最近研究的趋势，因为相机比激光雷达传感器便宜得多，并且可以捕获丰富的语义信息，V-Charge项目旨在为AVP服务提供接近市场的传感器，该项目在为AVP任务构建基于视觉的导航系统方面取得了重大进展。[23]论文中采用了度量信息和语义信息来构建用于导航的停车位地图，随后是[25]论文中使用紧密耦合的基于多传感器融合的框架，根据环境的像素级分割结果，[26]和[27]的两篇论文的作者同样将道路标记作为输入，并为AVP任务构建了一个完整的视觉SLAM系统。为了进一步利用鸟瞰图像中的语义，我们尝试提取地面上的边缘，这对于视觉SLAM系统来说更密集、更稳定。

主要内容

整体框架

一般来说，提出的框架是一个混合的基于边缘线的语义视觉SLAM系统，使用鸟瞰图像作为输入。它主要由三部分组成，如图2所示：

图2。提出了基于鸟瞰图边缘线的语义视觉SLAM框架，鸟瞰图由四幅鱼眼图像通过视图合成生成，对可行驶空间进行分割以提供用于边缘检测的掩模，鸟瞰边缘提取模块处理从鸟瞰图像和可行驶空间图像中检测到的原始边缘，然后执行基于IPM的边缘分割程序，以去除噪声和扭曲边缘，通过融合连续边缘图像生成局部地图，用于相对姿态估计和全局建图，同时构建并优化了边缘点云地图和占用栅格地图。

鸟瞰边缘线提取：将合成的鸟瞰图像以及分割的可行驶空间图像作为系统的输入。检测原始混合边缘，包括可行驶空间内的边缘和自由空间轮廓，然后是基于IPM的分割模块，该模块能够去除地面眩光引起的大部分噪声边缘以及地面上方扭曲的物体边缘

建图：使用提取的混合边，建图模块累积并生成概率局部地图，用于相对姿势估计，通过记录轨迹和姿势图优化，可以导出全局边缘点云图以及占用栅格地图

里程计：根据车轮里程计的初始变换，通过语义点云配准来估计局部地图中的当前姿势，每个帧的姿态进一步累积，以生成全局地图中的车辆轨迹。

鸟瞰边缘提取

从图3（a）中的鸟瞰图样本图像中发现，地面上有大量的道路标记，这些标记对于SLAM系统来说是很好的路标信息，然而，图像也被地面反射的强光所污染，此外，在用于视图合成的IPM中，地面上这些对象的轮廓会发生显著扭曲，因此，我们的鸟瞰边缘线的提取模块的作用是从输入的鸟瞰视图和可行驶区域图像中检测并保留高质量的边缘，这是整个SLAM系统的基础，在边缘提取过程中，两个子模块连接在一起，首先，从输入图像中检测原始边缘线，然后在视图合成中考虑IPM的畸变效应，对这些边缘进行分割，去除噪声和畸变。

图3，在鸟瞰图上检测到的原始边缘和考虑视图合成和可行驶区域分割的边缘。

A.原始边缘检测

输入图像上的原始边缘可以通过传统边缘检测算法（如Canny边缘检测器）进行检测。如图3（a）所示，一方面，道路标记的边缘线以及物体足迹在整体上被成功检测；另一方面，此类探测器通常无法区分SLAM任务的有用边缘与周围车辆、支柱或眩光的无用和嘈杂边缘，借助于可行驶空间分割，可以删除地面上对象内部的边，然而，如图3（b）所示，其余部分仍然包含大量来自眩光和被IPM扭曲的物体的干扰边缘，因此，在发送到建图和里程计模块之前，需要对遮罩边缘进行进一步处理，否则，接下来的程序的性能将显著降低。

B.基于IPM的边缘分割

提出噪声边缘线的基本思想是利用IPM中失真效应的特性，如图3所示，眩光和物体的边缘在视图合成中被拉伸，这些边中的大多数始终是径向的，大致通过每个相机的焦点，这种现象促使我们设计各种分割方法，如图4所示

图4，不同边缘线分割方法及其结果的插图，红色边缘线为被分割为IPM扭曲的边缘，并将被删除，建图和里程计模块保留绿色边。

语义里程计和建图

在分割鸟瞰图边缘后，我们可以使用校准的比例因子将其转换为欧氏空间中的点云，利用这种具有两类边缘的混合点云，可以建立语义SLAM系统。

A.定位地图生成

由于其机制的限制，分割模块无法完全去除噪声边缘，例如眩光边缘的某些部分，同时，当某些道路标记或停车点边缘临时位于摄影机焦点的光线方向上时，可能会错误地删除它们，因此，当前图像上提取的边缘通常是不完整和不稳定的，这将使基于关键帧的策略难以获得鲁棒的相对姿态估计，为了克服单帧估计的局限性，我们交替地在连续帧中累积提取的边缘，并构建局部边缘地图以实现更稳定的运动估计，局部地图可以很容易地用第一帧上的边缘线初始化，然后，通过迭代估计后续帧的姿势，逐帧变换新边并将其添加到局部地图中，导出的局部地图的示例如图5所示。

图5，用于姿势估计的局部地图生成流程，包括（a）累积概率局部地图，（b）阈值局部地图和（c）配准到局部地图的提取边缘（绿色的鸟瞰图边缘和红色的可行驶空间边缘）。

其中不同帧的融合是概率的。为了平滑地更新局部贴图并填充小间隙，在将边缘添加到贴图之前，通过高斯滤波器对边缘进行处理。为了删除已添加到局部贴图的不正确分割的边，还应用了滑动窗口融合。本地映射的帧缓冲区长度限制为固定的数字。满时，将从局部贴图中减去最旧的边。需要注意的是，那些具有足够高概率的边缘点不会在减法中被修改，这可以尽可能多地保持那些有效边缘在局部地图中。当车辆的平移或旋转超过预定义的阈值时，局部地图将转换为当前姿势，并且不会维护和更新局部地图范围之外的边缘。

B.姿态估计

融合后的局部边缘地图被阈值化并转换为世界坐标系下的点云，为了在局部地图上估计当前车辆的姿态，首先通过车轮里程计变换将当前帧中的边缘点投影到局部地图上，然后通过最近邻搜索建立数据关联，最后，可以通过解决以下问题来估计定位地图T的当前姿势

C.全局地图

全局地图可以从车辆的局部地图和全局轨迹中导出，由于提取的可行驶空间边缘也可以被视为2D激光雷达测量，因此不仅可以同时构建语义点云地图，还可以同时构建占用栅格地图。当在局部地图中检测到回环时，将执行正常姿势图优化以校正漂移。

                   图6，通过不同的分割方法提取出鸟瞰图边缘

实验

A.数据收集

用于评估我们框架的数据序列是在一个地下车库中收集的，序列的详细信息见表一。

B.鸟瞰图边缘提取

我们首先评估不同分割方法提取混合鸟眼边缘的性能，定性和定量结果都显示了它们过滤噪声和扭曲边缘的能力。

图7，不同鸟瞰图边缘分割方法的轨迹估计

图7，不同鸟瞰图边缘分割方法的轨迹估计

C.里程计与建图

图8，不同SLAM框架下的估计轨迹。

图8，不同SLAM框架下的估计轨迹。

总结

本文提出了一种基于鸟瞰图像混合边缘提取的语义视觉SLAM框架，该框架可应用于AVP任务。一方面，与传统的稀疏点特征相比，边缘密度更大，鲁棒性更强。另一方面，与现有的语义道路标记点云相比，我们的分割方法只需要粗略的自由空间标注进行训练，而不需要对道路标记进行耗时费力的标注。利用IPM畸变效应，提出的分割方法可以滤除大部分噪声眩光边缘和畸变物体边缘。以提取的边缘为输入，建立了一个可视化的SLAM系统，并对某地下车库的实际数据进行了评估。实验结果证明了我们的方法的有效性，以及将其集成到其他通用SLAM框架中的潜力。在未来，我们将进一步开发一个健壮的分层语义视觉SLAM框架，该框架结合了AVP应用的多模态语义和多传感器。

资源

三维点云论文及相关应用分享

【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法

3D目标检测：MV3D-Net

三维点云分割综述（上）

3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割（2020）

win下使用QT添加VTK插件实现点云可视化GUI

JSNet：3D点云的联合实例和语义分割

大场景三维点云的语义分割综述

PCL中outofcore模块---基于核外八叉树的大规模点云的显示

基于局部凹凸性进行目标分割

基于三维卷积神经网络的点云标记

点云的超体素(SuperVoxel)

基于超点图的大规模点云分割

更多文章可查看：点云学习历史文章大汇总

SLAM及AR相关分享

【开源方案共享】ORB-SLAM3开源啦！

【论文速读】AVP-SLAM：自动泊车系统中的语义SLAM

【点云论文速读】StructSLAM:结构化线特征SLAM

SLAM和AR综述

常用的3D深度相机

AR设备单目视觉惯导SLAM算法综述与评价

SLAM综述(4)激光与视觉融合SLAM

Kimera实时重建的语义SLAM系统

SLAM综述(3)-视觉与惯导，视觉与深度学习SLAM

易扩展的SLAM框架-OpenVSLAM

高翔：非结构化道路激光SLAM中的挑战

SLAM综述之Lidar SLAM

基于鱼眼相机的SLAM方法介绍

扫描下方微信视频号二维码可查看最新研究成果及相关开源方案的演示：

如果你对本文感兴趣，请后台发送“知识星球”获取二维码，务必按照“姓名+学校/公司+研究方向”备注加入免费知识星球，免费下载pdf文档，和更多热爱分享的小伙伴一起交流吧！

以上内容如有错误请留言评论，欢迎指正交流。如有侵权，请联系删除

扫描二维码

关注我们

让我们一起分享一起学习吧！期待有想法，乐于分享的小伙伴加入免费星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉，点云，高精地图，自动驾驶，以及机器人等相关的领域。

分享及合作方式：微信“920177957”（需要按要求备注） 联系邮箱：dianyunpcl@163.com，欢迎企业来联系公众号展开合作。

点一下“在看”你会更好看耶