TANDEM 基于深度多视图立体视觉的实时跟踪和稠密建图
点云PCL免费知识星球,点云论文速读。
文章:TANDEM: Tracking and Dense Mapping in Real-time using Deep Multi-view Stereo
作者:Lukas Koestler Nan Yang y Niclas Zeller Daniel Cremers
编译:点云PCL
代码:https://github.com/tum-vision/tandem.git
欢迎各位加入免费知识星球,获取PDF论文,欢迎转发朋友圈。文章仅做学术分享,如有侵权联系删文。未经博主同意请勿擅自转载。
论文阅读模块将分享点云处理,SLAM,三维视觉,高精地图相关的文章。公众号致力于理解三维视觉领域相关内容的干货分享,欢迎各位加入我,我们一起每天一篇文章阅读,开启分享之旅,有兴趣的可联系微信dianyunpcl@163.com。
摘要
本文提出了一个实时单目跟踪和稠密建图框架, 对于姿态估计,TANDEM基于关键帧的滑动窗口进行BA(bundle adjustment), 为了增强鲁棒性,提出了一种新的跟踪前端,该前端使用由稠密深度预测增量构建的全局模型渲染的深度图,来执行稠密直接图像对齐, 为了预测稠密的深度图,提出了级联视图聚合MVSNet (CVA-MVSNet),它利用整个活动关键帧窗口,通过分层构造具有自适应视图聚合的3D成本量来平衡关键帧之间的不同立体基线, 最后,将预测的深度图融合为一致的全局图,以截断的带符号距离函数(TSDF)体素网格表示, 最终的实验结果表明,TANDEM在相机跟踪方面优于其他先进的传统和基于学习的单目视觉里程计(VO)方法, 此外,TANDEM还展示了最先进的实时三维重建性能。
主页:https://go.vision.in.tum.de/tandem
图1:TANDEM是一种单目密集SLAM方法,用于估计相机姿势并实时重建3D环境
主要贡献
(1)提出一种新颖的实时单目密集SLAM框架,无缝结合了经典的直接法VO和基于学习的MVS三维重构;
(2)据我们所知,第一个利用全局TSDF模型渲染的深度的单目稠密跟踪前端;
(3)一种新颖的MVS网络,CVA-MVSnet,它能够通过利用视图聚合和多级深度预测来利用整个关键帧窗口;
(4)在合成和真实的数据上,达到了最先进的跟踪和重建结果。
主要内容
方案主要有三部分组成:单目视觉里程计、CVA MVSNet稠密深度估计和体积建图。图2a显示了系统的概述,视觉里程计利用单目视频流和3D TSDF模型渲染的密集深度,以滑动窗口方式估计摄像机姿势。给定关键帧及其估计姿势,提出的CVA MVSNet预测参考关键帧的稠密深度贴图,为了重建环境的完整且全局一致的3D模型,深度贴图随后通过体素散列融合到TSDF体素网格中,通过无缝集成这些组件,最终的system TANDEM能够从单目相机实现实时跟踪和高质量稠密贴图。
图2:(a)使用视觉里程计优化的稀疏点和3D模型渲染的稠密深度图跟踪每帧,关键帧的姿态通过滑动窗口光度束调整进行估计,并输入CVA MVSNet进行稠密的深度预测,深度贴图融合为全局一致的TSDF体积,(b) CVA MVSNet构建级联成本量并分层估计深度图,视图聚合模块通过预测自适应权重,有效地聚合多视图图像的特征
实验
图3 DeepFactors、Atlas和未知序列上的TANDEM深度比较,TANDEM产生更精细的比例细节,例如第二排的设备或第三排的梯子,对于EuRoC,只有稀疏的地面真实深度可用。
图4:Atlas和TANDEM在未知序列上的定性比较,Atlas不构建纹理网格,这里还从TANDEM渲染纯几何体以进行比较
表1:EuRoC的位姿评估,所有的方法都是模拟对齐的w.r.t.真值轨迹,显示了五次运行期间的平均绝对姿态误差和标准偏差
表2:在VO窗口中使用所有关键帧不会改善基线,然而,将Win与视图聚合(VA)相结合会以增加推理运行时间和内存为代价产生更准确的结果
三维重建的实验对比
总结
我们介绍了TANDEM,一种实时稠密的单目SLAM系统,该系统采用了一种新颖的设计,将直接光度视觉里程计与深度多视角立体视觉相结合,特别是提出了CVA MVSNet,它有效地利用了整个关键帧窗口并预测高质量的深度贴图,此外,提出的密集跟踪方案通过跟踪TSDF融合生成的全局3D模型,将摄像机姿态估计和密集3D重建联系起来,定量和定性实验表明,在合成数据和真实数据的三维重建和视觉里程测量方面,TANDEM方法比其他最先进的方法取得了更好的结果。我们认为,TANDEM三维重建的效果进一步缩小了RGB-D重建之间的差距。
资源
三维点云论文及相关应用分享
【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法
3D目标检测:MV3D-Net
三维点云分割综述(上)
3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割(2020)
win下使用QT添加VTK插件实现点云可视化GUI
JSNet:3D点云的联合实例和语义分割
大场景三维点云的语义分割综述
PCL中outofcore模块---基于核外八叉树的大规模点云的显示
基于局部凹凸性进行目标分割
基于三维卷积神经网络的点云标记
点云的超体素(SuperVoxel)
基于超点图的大规模点云分割
更多文章可查看:点云学习历史文章大汇总
SLAM及AR相关分享
【开源方案共享】ORB-SLAM3开源啦!
【论文速读】AVP-SLAM:自动泊车系统中的语义SLAM
【点云论文速读】StructSLAM:结构化线特征SLAM
SLAM和AR综述
常用的3D深度相机
AR设备单目视觉惯导SLAM算法综述与评价
SLAM综述(4)激光与视觉融合SLAM
Kimera实时重建的语义SLAM系统
SLAM综述(3)-视觉与惯导,视觉与深度学习SLAM
易扩展的SLAM框架-OpenVSLAM
高翔:非结构化道路激光SLAM中的挑战
SLAM综述之Lidar SLAM
基于鱼眼相机的SLAM方法介绍
扫描下方微信视频号二维码可查看最新研究成果及相关开源方案的演示:
如果你对本文感兴趣,请点击“原文阅读”获取知识星球二维码,务必按照“姓名+学校/公司+研究方向”备注加入免费知识星球,免费下载pdf文档,和更多热爱分享的小伙伴一起交流吧!
以上内容如有错误请留言评论,欢迎指正交流。如有侵权,请联系删除
扫描二维码
关注我们
让我们一起分享一起学习吧!期待有想法,乐于分享的小伙伴加入免费星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉,点云,高精地图,自动驾驶,以及机器人等相关的领域。
分享及合作:群主微信“920177957”(需要按要求备注) 联系邮箱:dianyunpcl@163.com,欢迎企业来联系公众号展开合作。
点一下“在看”你会更好看耶
TANDEM 基于深度多视图立体视觉的实时跟踪和稠密建图相关推荐
- TANDEM:基于深度多视图立体匹配进行实时跟踪和稠密建图(CoRL 2021)
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 作者丨泡泡机器人 来源丨泡泡机器人SLAM 标题:TANDEM: Tracking and Dense ...
- 你今天怎么这么好看——基于深度学习的大型现场实时美颜
Photo from BoredPanda 美颜是当下直播甚至是所有形式对外展示的一个必备条件.手机端的美颜就像私人化妆师,能够帮助我们实现各种心仪的效果. 而大型娱乐节目一般都是提前进行录制,然后进 ...
- orb特征 稠密特征_一种基于ORB-SLAM2的双目三维稠密建图方法技术
本发明专利技术公开了一种基于ORB‑SLAM2的双目稠密建图方法,涉及机器人同步定位与地图创建领域,该方法主要由跟踪线程.局部地图线程.闭环检测线程和稠密建图线程组成.其中稠密建图线程包含以下步骤:1 ...
- 使用ORBSLAM2进行kineticV2稠密建图,实时转octomap建图以及导航
决定总结最近一个月的工作,这个月在orbslam2的基础上,使用kineticV2完成了稠密点云地图的重建,实现了点云的回环,并使用octomap转换成实时的八叉树地图,导航部分已经有了思路,打算下个 ...
- 【论文阅读】基于贝叶斯广义核推理的可通行区域建图
标题:Bayesian Generalized Kernel Inference forTerrain Traversability Mapping 作者:Tixiao Shan,Jinkun Wan ...
- DeepFusionMOT 基于相机和激光雷达融合3d实时跟踪
demo: tracking_video2 基于深度关联的摄像头-激光雷达融合的三维多目标跟踪框架 paper:https://arxiv.org/abs/2202.12100 code:https: ...
- 【工程记录】基于松灵Scout mini底盘实现小车自主探索建图
一.硬件配置 松灵scout mini底盘 速腾robense 16线激光雷达 瑞芬imu 因特尔nuc 二.工程技术栈 IMU驱动包(原创) 松灵底盘包(改写,里程计融合IMU角度信息) ROS N ...
- 基于深度学习的PM2.5实时预测系统开发
尊敬的读者您好:笔者很高兴自己的文章能被阅读,但原创与编辑均不易,所以转载请必须注明本文出处并附上本文地址超链接以及博主博客地址:https://blog.csdn.net/vensmallzeng. ...
- 使用D435i相机跑ORB-SLAM2_RGBD_DENSE_MAP-master稠密建图编译(实时彩色点云地图加回环+保存点云地图)
目录 前言 系统版本 一.准备工作 下载源码 二.编译 ./build.sh 1.删除一些build文件夹 2.创建 Vocabulary 文件夹 3.编译 1)错误1 4.解决 段错误(核心已转储) ...
最新文章
- 程序运行背后的那些事 ~ 【程序的编译(预处理操作)+链接】
- 论文解读 Combating Adversarial Misspellings with Robust Word Recognition
- 体系化认识RPC--转
- pyspark reduce代码示例
- Elasticsearch实践(二)linux安装
- JavaSE----属性、方法
- python new init_python的new与init
- java读取配置文件和获得项目根目录
- 华为怎么查看手机温度_如果你的华为手机拿去维修,记得打开这个功能,防止秘密被查看...
- 基于springboot+vue的公益慈善捐助网站(前后端分离)
- 学习3dmax游戏建模一定要美术基础很高吗?资深建模师一语道出重点
- 4152: [AMPPZ2014]The Captain
- 2019,焉知非福,决胜新城
- 小米2S手机开启开发者选项
- svg-captcha验证码识别,成功率100%
- Oracle分页为什么采用三层查询
- 第3.1章 卷积神经网络(CNN)——Conv、Pool、FC、Activation Function、BN各个层的作用及原理
- 修改电脑中C盘下的文件名
- Flooded! UVA - 815(简单计算 -洪水)
- 薅羊毛的最高境界,解放你的双手
热门文章
- A. 位运算符的应用---管理一组事务的开关状态
- Spring Boot 集成Swagger2生成RESTful API文档
- [置顶] 我的GB28181标准开发里程碑——基于eXosip的IPC端与SPVMN注册成功
- jsp中九大内置对象
- 《OpenCV3编程入门》学习笔记7 图像变换(四 )仿射变换
- python 指定字符串长度_Python指定字符串的长度,主要是
- java正则 group_Java正则表达式,分组 group()、groupCount()
- 窗帘效果图css,vuejs、微信小程序窗帘效果
- layui 表格内容写temple函数_layui表格-template模板的三种用法
- python wait_window_pywinauto客户端自动化---窗口等待方法