基本情况

题目：Self-supervised sparse-to-dense: Self-supervised depth completion from lidar and monocular camera
出处：Ma, F., Cavalheiro, G. V., & Karaman, S. (2019, May). Self-supervised sparse-to-dense: Self-supervised depth completion from lidar and monocular camera. In 2019 International Conference on Robotics and Automation (ICRA) (pp. 3288-3295). IEEE.
开源代码：https://github.com/fangchangma/self-supervised-depth-completion

摘要

深度补全，即从稀疏深度测量中估计出密集深度图像的技术，在机器人技术和自动驾驶中有多种应用。然而，深度补全面临着3个主要的挑战:

稀疏深度输入中的不规则间隔模式，
处理多传感器模式(当有彩色图像时)的困难，
以及缺乏密集的、像素级的真值深度标签用于训练。

在这项工作中，我们应对所有这些挑战。

具体来说，我们开发了一个深度回归模型来学习从稀疏深度(和彩色图像)输入到稠密深度预测的直接映射。
我们还提出了一个自监督的训练框架，它只需要彩色和稀疏的深度图像序列，而不需要密集的深度标签。

我们的实验证明，自监督框架的性能优于许多现有的用半密集注释训练的解决方案。
此外，通过半密集注释的训练，我们的网络获得了最先进的精确度，在提交时的KITTI深度完成基准测试中是获胜的方法。

思想：

网络输入rgb1 & depth1 map获取pred depth map。为了进行孔洞的填充，随机选取rgb1附近的rgb2，使用pnp & RANSAC获取相对位姿，并根据pred depth map & rgb2进行重投影获取warped rgb1。对于存在深度值的区域计算depth与pred depth的L1或L2损失，对于孔洞区域计算冲投影的光度误差，进行优化。

图1. 我们开发一个深度补全的深度回归网络: 给定(a)稀疏激光雷达扫描，(b)一个可能的彩色图像，估计(d)一个密集的深度图像。(d)和(e)所示的半密集深度标签通常很难获得，因此我们开发了一个高度可扩展的、自我监督的框架来训练这类网络。这里使用彩色图像方便观看效果。

网络结构

自监督训练网络结构

试验结果比较

论文笔记_S2D.44_自监督的从稀疏到稠密：用激光雷达和单目摄像机进行自监督深度补全相关推荐

Deep Learning论文笔记之（二）Sparse Filtering稀疏滤波
Deep Learning论文笔记之(二)Sparse Filtering稀疏滤波 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看 ...
基于视觉惯性里程计的无监督深度补全方法
标题:Unsupervised Depth Completion From Visual Inertial Odometry 作者:Alex Wong , Xiaohan Fei , Stephani ...
【深度补全算法】基于RGBD相机的深度补全算法(非Lidar)论文与GitHub代码总结
目录前言一.经典的深度补全算法(2018-2019) 1.Deep Depth Completion of a Single RGB-D Image 2.Indoor Depth Completi ...
机器视觉学习笔记（4）——单目摄像机标定参数说明
机器视觉学习笔记(4)--单目摄像机标定参数说明标签: 机器视觉 1.针孔摄像机模型在介绍摄像机标定参数之前,需要先简单说一下针孔摄像机的原理.投影平面到小孔的距离为焦距f,物体到小孔的距离为Z, ...
单目多帧自监督深度估计(2021-2022)研究进展
自从17年MonoDepth系列论文问世, 单目自监督深度估计算法越来越受到研究者的重视.人们发现, 在自动驾驶场景中,原来单目自监督方法也能计算出不错的深度效果.但是单目深度估计方法的可解释性比较弱 ...
论文笔记_S2D.77_2013_TOR_使用RGBD相机的3D建图(RGBD SLAM V2)
目录基本情况摘要介绍系统流程特征提取运动估计 EMM:Environment Measurement Model 回环检测图优化建图OctoMap 参考基本情况出处:Endres ...
深度补全（Sparsity Invariant CNNs）-论文阅读-翻译
(由于是直接从word上复制的,可能存在格式问题) Sparsity Invariant CNNs翻译 Abstract 本文考虑了基于稀疏输入的卷积神经网络,并将其应用于稀疏激光扫描数据的深度上采样 ...
【论文笔记】—目标姿态估计—EPro-PnP—2022-CVPR
论文介绍该论文被评为 CVPR 2022 最佳学生论文 . 将PnP位姿优化问题转变为预测位姿概率密度的问题. 对于一个基于PnP的物体位姿估计网络,可以通过反向传播位姿的概率密度从而学习物体的2 ...
论文笔记-Depth Estimation via Affinity Learned with Convolutional Spatial Propagation Network
论文信息标题: Depth Estimation via Affinity Learned with Convolutional Spatial Propagation Network 作者:Xin ...
【论文精读】基于网络立体数据监督的单目相对深度感知
基于网络立体数据监督的单目相对深度感知 Paper Information Abstract 1 Introduction 2 Related Work 3 Proposed method 3.1 O ...

论文笔记_S2D.44_自监督的从稀疏到稠密：用激光雷达和单目摄像机进行自监督深度补全

基本情况

摘要

思想：

网络结构

自监督训练网络结构

试验结果比较

论文笔记_S2D.44_自监督的从稀疏到稠密：用激光雷达和单目摄像机进行自监督深度补全相关推荐

最新文章

热门文章