点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

1

摘要

对象级数据关联和姿态估计在语义SLAM中起着重要作用,但由于缺乏鲁棒和精确的算法,这一问题一直没有得到解决.在这项工作中,我们提出了一个集成参数和非参数统计检验的集成数据关联策略.通过利用不同统计的性质,我们的方法可以有效地聚集不同测量的信息,从而显著提高数据关联的鲁棒性和准确性.然后我们提出了一个精确的目标姿态估计框架,并且开发了outliers-robust centroid、尺度估计算法和对象姿态初始化算法来帮助提高姿态估计结果的最优性,以帮助提高姿态估计结果的最优性.此外我们建立了一个SLAM系统,可以用单目相机生成半稠密或轻量级的面向对象.地图在三个公开可用的数据集和一个真实场景上进行了大量实验,结果表明,我们的方法在准确性和鲁棒性方面明显优于最先进的技术.

2

介绍

传统的视觉SLAM系统在机器人定位和地图绘制任务中取得了显著的成功.除了传统的功能,语义SLAM还关注环境的详细表达,例如标记地图元素或感兴趣的对象,以支持不同的高级应用程序.物体SLAM是语义SLAM的典型应用,目标是通过利用帧内对象的语义信息来估计更鲁棒和更准确的相机姿态.在这项工作中,我们进一步扩展了对象SLAM的内容,使其能够构建轻量级和面向对象的地图,如图1所示,其中对象由立方体或二次曲面表示,它们的位置、方向和比例精确对齐.

物体SLAM的挑战主要在于两个方面:

• 现有的数据关联方法在处理包含多个对象实例的复杂环境时不够鲁棒或准确.没有切实可行的办法来系统地解决这个问题.

• 物体姿态估计不准确,尤其是单目物体SLAM.虽然最近的研究取得了一些改进,但它们通常依赖于严格的假设,而这些假设在现实世界的应用中很难实现.

在本文中,我们提出了EAO-SLAM,一个单目物体SLAM系统,以解决数据关联和姿态估计问题.首先我们将参数和非参数统计检验与传统的IoU-based方法相结合,进行数据关联的模型集成.与传统方法相比,我们的方法充分利用了不同统计量的性质,例如高斯和非高斯测量,因此在关联鲁棒性方面表现出显著的优势.在目标姿态估计方面,提出了一种质心和尺度估计算法以及基于iForest的目标姿态初始化方法.所提出的方法对离群点具有鲁棒性,并且具有较高的精度,这极大地方便了联合姿态优化过程.

本文的贡献总结如下:

• 我们提出了一种集成数据关联策略,该策略可以有效地聚合对象的不同度量来提高关联精度.

• 我们提出了一个基于iForest的物体姿态估计框架,它对异常值是鲁棒的,并且可以精确地估计物体的位置、姿态和比例.

• 基于所提出的方法,我们实现了EAO-SLAM来构建轻量级和面向对象的地图

• 我们进行了全面的实验,并验证了我们提出的方法在公开可用的数据集和真实场景的有效性.源代码也发布了.

3

系统

(图一)

图一展示了一种轻量级和面向对象的语义地图.

(图二)

图2展示了所提出的对象SLAM框架，它是基于ORB-SLAM2开发的,并且另外集成了一个采用YOLOv3作为对象检测器的语义线程.集成数据关联在跟踪线程中实现,它结合了bounding boxes、语义标签和点云的信息.之后消除异常值,以便为联合优化过程找到准确的初始化.然后对象姿态和比例与相机姿态一起优化,以构建轻量级和面向对象的地图.在半稠密建图线程中,对象建图与[25]生成的半稠密建图相结合,以获得半稠密语义地图.

文献25
Incremental 3d line segment extraction from semi-dense slam,” in 2018 24th International Conference on Pattern Recognition (ICPR).

4

实验

(图五)

图五是直线对齐以估计对象方向.

(图六)

图六是数据关联中不同统计量的分布.(a)点云在三个方向上的位置分布.(b)质心的距离误差分布.

(图七)

图七:数据关联结果的定性比较.(a) IoU方法.(b)IoU和非参数检验.(c) IoU和t-test.(d)我们的方法.

(图八)

图八是姿态估计的可视化结果.

(图九)

图九是物体姿态估计的结果.奇数列:原始RGB图像.偶数列:估计物体姿态.

(图十)

图十是不同的地图表示.(一)RGB图像.(b)稀疏地图.(c)半稠密地图.(d)我们的半稠密语义图.(e)我们的轻量级和面向对象的地图.(d)和(e)EAO-SLAM.

(图十一)

图十一是EAO-SLAM在三个数据集上的结果.顶部:原始图像.底部:半稠密面向对象地图.

(图十二)

图十二是EAO-SLAM在真实场景中的结果.左右:原始图像.中间:半稠密面向对象地图.

其他一些结果:

5

结论

在本文中,我们提出了EAO-SLAM系统,旨在建立半稠密或轻量级面向对象的地图.该系统基于鲁棒的集成数据关联方法和精确的姿态估计框架来实现.大量实验表明,我们提出的算法和SLAM系统能够建立精确的面向对象的地图,并精确地配准目标姿态和比例.本文提出的方法进一步拓展了语义SLAM的范围，并将促进机器人导航、移动操作和人机交互的相关研究.

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~