Mask-SLAM:基于语义分割掩模的鲁棒特征单目SLAM

摘要

本文提出了一种将单目视觉SLAM与基于深度学习的语义分割相结合的新方法.为了稳定运行,vSLAM需要静态对象上的特征点.在传统的vSLAM中,随机样本一致性(RANSAC) 用于选择那些特征点.然而,如果视图的主要部分被移动的对象占据,许多特征点变得不合适,并且RANSAC不能很好地执行.根据我们的经验研究,天空和汽车上的特征点通常会导致vSLAM中的错误.我们提出了一个新的框架,使用语义分割产生的掩码来排除特征点.排除掩蔽区域中的特征点使vSLAM能够稳定地估计摄像机运动.我们在框架中应用ORBSLAM ,这是单目vSLAM的最新实现.在我们的实验中,我们使用CARLA simulator [3],在各种条件下创建了vSLAM评估数据集.与最先进的方法相比,我们的方法可以获得明显更高的精度.

介绍

为了使机器能够识别真实世界,摄像机姿态估计是一项关键的任务,它可以准确地估计机器在真实世界中的位置.视觉同时定位和建图(vSLAM)是最有前途的定位方法之一.它很简单,只需要一台摄像机来捕捉图像序列.利用一系列图像,VSLAM不仅能够估计摄像机的位置和姿态,还能重建三维场景.与激光雷达等其他传感器相比,成本要低得多,并且可以获得更多关于周围环境的数据.然而,vSLAM并不是特别鲁棒.

在本文中,我们将重点放在基于特征的vSLAM上,使用ORB-SLAM在单目vSLAM实现运行相对稳定.基于特征的vSLAM首先从图像中提取许多特征点,然后比较序列中图像之间每个点的描述符以搜索对应关系,最后根据这些对应关系估计摄像机姿态.基于特征的方法可以抵抗图像失真,并且可以为多种设备执行高精度的姿态估计.然而,这些方法仅利用作为特征点提取的局部信息,并且不能区分世界坐标系中静止区域的特征点.如果特征点位于移动区域,vSLAM会产生估计误差.为了从静态区域中选择特征点,随机样本一致性(RANSAC) [5]通常用于基于特征的vSLAM.

RANSAC用于从许多假设中选择最可靠的值.假设是从大量对应对的随机样本中计算出来的.vSLAM应排除移动区域中的特征点

Mask-SLAM:基于语义分割掩模的鲁棒特征单目SLAM相关推荐

论文翻译 | Mask-SLAM:基于语义分割掩模的鲁棒特征单目SLAM
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 1 摘要本文提出了一种将单目视觉SLAM与基于深度学习的语义分割相结合的新方法.为了稳定运行,vSL ...
基于先验激光雷达地图的2D-3D线特征单目定位
论文标题 Monocular Camera Localization in Prior LiDAR Maps with 2D-3D Line Correspondences 1. 摘要对于视觉导航任 ...
2017CVPR NID-SLAM:基于归一化信息距离的鲁棒单目SLAM系统
原作:Geoffrey Pascoe 翻译:Frank 转载请注明出处水平有限,错误请指出 NID-SLAM:基于归一化信息距离的鲁棒单目SLAM系统摘要本文提出了一种基于归一化信息距离(NID ...
基于点云的语义单目SLAM
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者:robot L 链接:https://zhuanlan.zhihu.com/p/13043758 ...
[论文阅读-NeRF+SLAM]NeRF-SLAM：使用神经辐射场表征的实时稠密单目SLAM系统
NeRF-SLAM NeRF-SLAM: Real-Time Dense Monocular SLAM with Neural Radiance Fields 第一个结合稠密单目SLAM和层次化体素神 ...
基于语义分割Ground Truth（GT）转换yolov5目标检测标签（路面积水检测例子）
基于语义分割Ground Truth(GT)转换yolov5目标检测标签(路面积水检测例子) 概述许多目标检测的数据是通过直接标注或者公开平台获得,如果存在语义分割Ground Truth的标签文件 ...
直播预告 | 长文本知识抽取：基于语义分割的文档级三元组关系抽取
「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间,旨在帮助更多的青年学者宣传其最新科研成果.我们一直认为,单向地输出知识并不是一个最好的方式,而有效地反馈和 ...
空间中的语义直线检测_基于语义分割的车道线检测算法研究
龙源期刊网 http://www.qikan.com.cn 基于语义分割的车道线检测算法研究作者:张道芳张儒良来源:<科技创新与应用> 2019 年第 06 期摘 ; 要:随着半自 ...
CV：阿里在CV数据增强领域带来SOTA新范式(已被NeurIPS2022接收)—基于离散化对抗训练的鲁棒视觉新基准！
CV:阿里在CV数据增强领域带来SOTA新范式(已被NeurIPS2022接收)-基于离散化对抗训练的鲁棒视觉新基准! 导读:本文中,来自阿里巴巴AAIG的研究团队在模型鲁棒性问题上进行了研究,包括对 ...

Mask-SLAM:基于语义分割掩模的鲁棒特征单目SLAM

Mask-SLAM:基于语义分割掩模的鲁棒特征单目SLAM相关推荐

最新文章

热门文章