基本情况

出处：Koestler L, Yang N, Zeller N, et al. TANDEM: Tracking and Dense Mapping in Real-time using Deep Multi-view Stereo[C]//5th Annual Conference on Robot Learning. 2021. （会议简称：CoRL）
单位：TUM
论文介绍地址：Computer Vision Group - Visual SLAM - TANDEM: Tracking and Dense Mapping in Real-time using Deep Multi-view Stereo
论文下载：https://openreview.net/pdf?id=FzMHiDesj0I
视频展示：【即将开源】单目＋深度学习，实现实时稠密建图！CoRL 2021_哔哩哔哩_bilibili

摘要

在本文中，我们提出了一个实时单目跟踪和稠密建图框架。对于姿态估计，TANDEM基于关键帧的滑动窗口进行BA(bundle adjustment)。为了增强鲁棒性，我们提出了一种新的跟踪前端，该前端使用由密集深度预测增量构建的全局模型渲染的深度图，来执行密集直接图像对齐。为了预测稠密的深度图，我们提出了级联视图聚合MVSNet (CVA-MVSNet)，它利用整个活动关键帧窗口，通过分层构造具有自适应视图聚合的3D成本量来平衡关键帧之间的不同立体基线。最后，将预测的深度图融合为一致的全局图，以截断的带符号距离函数(TSDF)体素网格表示。我们的实验结果表明，TANDEM在摄像机跟踪方面优于其他先进的传统和基于学习的单目视觉里程计(VO)方法。此外，TANDEM还展示了最先进的实时三维重建性能。

1. 引言

实时密集3D映射（Real-time dense 3D mapping）是计算机视觉和机器人技术的主要挑战之一。这个问题称为稠密SLAM（dense SLAM），包括估计传感器的6DOF姿态和周围环境的密集重建。虽然存在许多工作良好且鲁棒的RGB-D映射解决方案[1，2，3]，但来自单目相机的实时密集重建是一个更加困难的挑战，因为深度值不能简单地从传感器读取并融合。然而，这是一个非常重要的问题，因为单眼方法比基于RGB-D的方法[1]提供了显着的优势，由于近距离传感或基于激光雷达[4]的解决方案昂贵且重量轻，通常仅限于室内环境。

前人已经提出了几种基于深度神经网络(DNN)的方法，通过使用单目深度估计[5]，各种变换的自动编码器[6，7，8]或端到端神经网络[9，10]来解决单眼跟踪和密集映射的问题。与前面提到的工作不同，在本文中，我们提出了一种新的单眼密集SLAM方法TANDEM，它首次将基于学习的多视图立体视觉(MVS)集成到传统的基于优化的VO中。 Dense SLAM的这种新颖设计显示了最先进的跟踪和密集重建精度以及强大的泛化能力，可以挑战仅在合成数据上训练的模型的现实世界数据集。图1显示了在看不见的序列上串联提供的3D重建。

我们的贡献：

（1）提出一种新颖的实时单目密集SLAM框架，无缝结合了经典的直接VO和基于学习的MVS重构；
（2）据我们所知，第一个利用全局TSDF模型渲染的深度的单目稠密跟踪前端；
（3）一种新颖的MVS网络，CVA-MVSnet，它能够通过利用视图聚合和多级深度预测来利用整个关键帧窗口；
（4）在合成和现实世界数据上，达到了最先进的跟踪和重建结果。

2. 相关工作

//todo

3. TANDEM

4. 实验结果

论文笔记_S2D.75_2021-CoRL_TANDEM_基于深度多视图立体视觉的实时跟踪和稠密建图相关推荐

TANDEM 基于深度多视图立体视觉的实时跟踪和稠密建图
点云PCL免费知识星球,点云论文速读. 文章:TANDEM: Tracking and Dense Mapping in Real-time using Deep Multi-view Stereo ...
TANDEM：基于深度多视图立体匹配进行实时跟踪和稠密建图（CoRL 2021）
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨泡泡机器人来源丨泡泡机器人SLAM 标题:TANDEM: Tracking and Dense ...
行为检测论文笔记【综述】基于深度学习的行为检测方法综述
摘要: 行为检测在自动驾驶.视频监控等领域的广阔应用前景使其成为了视频分析的研究热点.近年来,基于深度学习的方法在行为检测领域取得了巨大的进展,引起了国内外研究者的关注,对这些方法进行了全面的梳理和 ...
【论文笔记】DSCN：基于深度孪生神经网络的光学航空图像变化检测模型
本文是论文<Change Detection Based on Deep Siamese Convolutional Network for Optical Aerial Images>的 ...
Deep Learning论文笔记之（七）深度网络高层特征可视化
Deep Learning论文笔记之(七)深度网络高层特征可视化 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文,但老感 ...
你今天怎么这么好看——基于深度学习的大型现场实时美颜
Photo from BoredPanda 美颜是当下直播甚至是所有形式对外展示的一个必备条件.手机端的美颜就像私人化妆师,能够帮助我们实现各种心仪的效果. 而大型娱乐节目一般都是提前进行录制,然后进 ...
【论文阅读】基于贝叶斯广义核推理的可通行区域建图
标题:Bayesian Generalized Kernel Inference forTerrain Traversability Mapping 作者:Tixiao Shan,Jinkun Wan ...
视觉SLAM笔记（61）单目稠密建图
视觉SLAM笔记(61) 单目稠密建图 1. 立体视觉 2. 极线搜索与块匹配 3. 高斯分布的深度滤波器 1. 立体视觉相机,很久以来被认为是只有角度的传感器(Bearing only) 单个图像 ...
orb特征稠密特征_一种基于ORB-SLAM2的双目三维稠密建图方法技术
本发明专利技术公开了一种基于ORB‑SLAM2的双目稠密建图方法,涉及机器人同步定位与地图创建领域,该方法主要由跟踪线程.局部地图线程.闭环检测线程和稠密建图线程组成.其中稠密建图线程包含以下步骤:1 ...
ORB_SLAM2新增稠密建图代码笔记
接上一篇博客"ORB_SLAM2+kinect稠密建图实战项目总结" ORB_SLAM2+kinect稠密建图实战项目总结_好好仔仔的博客-CSDN博客本篇在此基础上对整个项目的 ...

论文笔记_S2D.75_2021-CoRL_TANDEM_基于深度多视图立体视觉的实时跟踪和稠密建图