点击上方“计算机视觉工坊”，选择“星标”

干货第一时间送达

1

摘要

我们提出了一种通过预测和更新代表3D线段的连续2D投影的线流的可视化SLAM方法.虽然使用点和线段的间接SLAM方法取得了优异的效果,但它们在具有挑战性的场景中仍然面临问题,例如遮挡、图像模糊和重复纹理.

为了解决这些问题,我们利用对空间和时间域中的2D和3D线段的相干性进行编码的线流作为对应于特定3D线段的所有2D线段的序列.得益于线流表示,可以基于2D和3D线段运动来预测新帧中的相应2D线段.我们创建、更新、合并和丢弃线line flows.我们使用贝叶斯网络对我们的基于线流的建模,我们在前端进行短期优化,在后端进行长期优化.

大量的实验结果表明,我们的方法比最先进的直接和间接的SLAM方法有更好的性能.具体来说,它在具有遮挡、图像模糊和重复纹理的挑战性场景中获得了良好的定位结果.

论文如下:

https://arxiv.org/abs/2009.09972

2

实验结果

我们在室内和室外数据集上将我们的方法与最先进的SLAM系统进行了比较，包括TUM RGBD、7-Scenes、EuROC和KITTI数据集.我们只使用这些数据集中的单目RGB图像,对准确性和效率都进行了评估,以证明我们实现了不错的结果.我们还提供3D line maps和line flow trackin结果作为定性评估,以证明在具有挑战性的场景中可以提取可靠稳定的line flow.

定性评价

为了重建一个场景，我们在一间办公室里用单目摄像机采集了一个图像序列.

图13展示了在房间中捕获的一些图像,如图14.可视化我们算法的动态重建.右下方图像上的红色线段是提取的线段,而虚线是重建的3D线段.注意,虽然在单个帧中没有提取出几个线段,并且一些线段是不完整的,但是这些线段是基于多个帧中的信息来细化的.

如图14的a-d所示, 尽管有类似的纹理、光照变化和反射光等挑战,2D还是成功地从图像中分割出了线段.

我们在图15中可视化最终的3D线图.我们恢复了办公室的大部分场景,如天花板、桌子、白板.这也验证了我们的方法良好的重建能力.所有这些定性结果验证了我们在充分利用线特征的时空一致性以保持稳定和可靠的线流方面的贡献,这是精确的姿态估计和地图重建的关键.

最后的结果如下:

3

结论

我们提出了一种新的描述连续帧中线段的线流表示法.通过考虑2D和3D线段之间的对应关系,线流对图像序列中线段的时空一致性进行编码.基于line flow,我们开发了LF-SLAM.

LF-SLAM可以处理许多具有挑战性的场景,如无纹理图像、遮挡、图像模糊和具有相似外观的特征.LF-SLAM的效率高于其他系统,与其他先进的直接和间接方法相比,我们的系统在四个数据集上取得了良好的性能.

此外，LF-SLAM可以动态生成精确的3D线图,line flow通过充分利用时空约束来维护2D线段,当相机运动打破限制时,我们的系统会失效,尤其是当相机处于长期突然运动时.解决这个问题的一个可能的解决方案是采用由粗到细的策略,从图像金字塔中提取线段,可以基于从小到大的图像尺度来执行姿态估计.目前我们的线流模型是基于单目序列中线段的一致性.将来,我们把这种表示扩展到带有立体和RGBD摄像机的SLAM系统.此外,我们计划对例如线和平面进行复合建模,这有望增强SLAM系统与像机运动的鲁棒性,从而提高定位精度,并生成更完整的3D地图.

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「计算机视觉工坊」公众号后台回复：深度学习，即可下载深度学习算法、3D深度学习、深度学习框架、目标检测、GAN等相关内容近30本pdf书籍。

下载2

在「计算机视觉工坊」公众号后台回复：计算机视觉，即可下载计算机视觉相关17本pdf书籍，包含计算机视觉算法、Python视觉实战、Opencv3.0学习等。

下载3

在「计算机视觉工坊」公众号后台回复：SLAM，即可下载独家SLAM相关视频课程，包含视觉SLAM、激光SLAM精品课程。

重磅！计算机视觉工坊-学习交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

觉得有用，麻烦给个赞和在看~