基本情况

题目：Deep Depth Completion of a single RGB-D Image
出处：Zhang, Y., & Funkhouser, T. (2018). Deep depth completion of a single rgb-d image. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 175-185).

摘要

我们工作的目标是完善RGB-D图像的深度通道。商品级深度相机通常

无法感应到光泽，明亮，透明和遥远的表面的深度。

为了解决这个问题，我们训练了一个深层网络，该网络

将RGB图像作为输入并预测密集的表面法线和遮挡边界。
然后将这些预测与RGB-D相机提供的原始深度观测值相结合，以求解所有像素的深度，包括原始观测值中缺少的深度。

通过使用新的深度完成基准数据集进行广泛实验的结果，选择了此方法（例如直接修复深度），此方法通过渲染多视图RGB-D扫描创建的表面重建来填充训练数据中的孔。使用不同的网络输入，深度表示，损失函数，优化方法，修复方法和深度估计网络进行的实验表明，与这些替代方法相比，我们提出的方法可提供更好的深度完成效果。

介绍

深度感应已经广泛应用于自动驾驶，增强现实和场景重建等各种应用中。尽管近期深度感应技术有所进步，但当表面光滑，明亮，薄弱，靠近或远离相机时，微软Kinect，英特尔实感和Google Tango等商品RGB-D相机仍会产生缺失数据的深度图像。这些当房间很大，表面光亮且照明强度很大时（例如，在博物馆，医院，教室，商店等等），问题就会出现。即使在家中，深度图像通常也缺少超过50％的像素（1）。

本文的工作目标是修复用商品相机拍摄的RGB-D图像的深度通道。

图1 深度信息修复

通过从颜色预测法线，然后求解完成的深度，我们在RGB-D图像的深度通道中填充大量缺失区域。

图2 系统流程图

给定输入RGB-D图像，我们根据颜色预测曲面法线和遮挡边界，然后利用由输入深度调整的全局线性优化求解输出深度。

图3 深度修复数据集

深度修复是从大型室内环境的多视图表面重建计算的。在此示例中，底部显示了原始颜色和深度通道，其中标记为红点的视点渲染深度。渲染后的网格（由大图像中的顶点着色）通过组合来自遍布整个场景的各种其他视图（黄色点）的RGB-D图像创建，这些视图在渲染到红点视图时协作填充孔。

图4 使用曲面法线来解决深度修复问题

（a）深度不能从曲面法线求解的例子。（b）缺少深度的区域标记为红色。红色箭头显示不能从表面法线集成深度的路径。然而，在现实世界的图像中，通过连接相邻像素（沿着地板，天花板等）的许多路径，在这些路径上可以集成深度（绿色箭头）。

图5 不同输入的表面法线估计

第一行显示输入彩色图像，原始深度和渲染法线。最下面一行显示了输入仅为深度时的表面法线预测，仅显示颜色和两者。中间一个对失踪区域表现最好，而其他两个模型在其他地方可以与其他地方相媲美，即使没有深度作为输入。

主要结果

我们发现，在NVIDIA TITAN X GPU上，预测320x256色彩的表面法线和遮挡边界需要约0.3秒。在英特尔至强2.4GHz CPU上解决深度的线性方程式需要约1.5秒。

图6 本文方法与基线修补方法进行比较

实验结果表明我们的方法明显优于基线修补方法。

图7 与联合双边过滤器进行比较

本文提出的方法从颜色中学习更好的指导并产生相对更清晰和更准确的结果。

图8 与深度估计方法的比较

本文提出的方法是比较深度估计设置下的最先进的方法。我们的方法不仅产生准确的深度值，而且还产生如表面法线中所反映的大尺寸几何结构

图9 与深度估计方法的比较

本文比较Laina等人和Chakrabarti等人。所有的方法在观察到的像素上表现出不可观察的像素，这表明未观察到的像素更难。我们的方法明显优于其他方法。

参考

【泡泡图灵智库】单一RGBD图像的深层次深度信息修复
"Deep Depth Completion of a Single RGB-D Image"论文阅读记录以及quicktest
Deep Depth Completion of a Single RGB-D Image(Supplementary Material)论文阅读

论文笔记_S2D.43_2018-CVPR_单张RGB-D图像的深度补全相关推荐

深度补全（Sparsity Invariant CNNs）-论文阅读-翻译
(由于是直接从word上复制的,可能存在格式问题) Sparsity Invariant CNNs翻译 Abstract 本文考虑了基于稀疏输入的卷积神经网络,并将其应用于稀疏激光扫描数据的深度上采样 ...
【深度补全算法】基于RGBD相机的深度补全算法(非Lidar)论文与GitHub代码总结
目录前言一.经典的深度补全算法(2018-2019) 1.Deep Depth Completion of a Single RGB-D Image 2.Indoor Depth Completi ...
FusionNet：基于稀疏雷达点云和RGB图像的深度图补全
作者:Tom Hardy Date:2020-02-09 来源:FusionNet:基于稀疏雷达点云和RGB图像的深度图补全
论文浅尝 | TuckER：基于张量分解的知识图谱补全
笔记整理:孙泽群,南京大学计算机科学与技术系,博士研究生. 论文链接:https://arxiv.org/abs/1901.09590 背景知识图谱是图结构的数据库,以三元组(es, r, eo ...
论文笔记_S2D.77_2013_TOR_使用RGBD相机的3D建图(RGBD SLAM V2)
目录基本情况摘要介绍系统流程特征提取运动估计 EMM:Environment Measurement Model 回环检测图优化建图OctoMap 参考基本情况出处:Endres ...
论文笔记：使用区块链和智能合约打击深度假冒视频
摘要随着人工智能(AI)和深度学习技术的兴起,近年来虚假数字内容激增.假镜头.假图像.假音频和假视频(被称为深度假冒,Deepfake)可能是一种危险的现象,有可能改变真相,并通过伪造事实来侵蚀信任 ...
Kinect+OpenNI学习笔记之2(获取kinect的颜色图像和深度图像)
前言网上有不少使用Qt做界面,OpenNI为库来开发kinect.或许大家的第一个问题就是询问该怎样使用Kinect来获取颜色信息图和深度信息图呢?这一节就是简单来回答这个问题的. 开发环境:QtC ...
【论文精读】从单张图像进行深度估计的深度卷积神经场
从单张图像进行深度估计的深度卷积神经场 Paper Information Abstract Introduction Related Work Deep convolutional neural f ...
【论文精读】使用深度卷积神经场从单目图像学习深度
使用深度卷积神经场从单目图像学习深度 Paper Information Abstract 1 Introduction 1.1 Related Work 2 DEEP CONVOLUTIONAL N ...
论文笔记-Depth Estimation via Affinity Learned with Convolutional Spatial Propagation Network
论文信息标题: Depth Estimation via Affinity Learned with Convolutional Spatial Propagation Network 作者:Xin ...

论文笔记_S2D.43_2018-CVPR_单张RGB-D图像的深度补全

基本情况

摘要

介绍

参考

论文笔记_S2D.43_2018-CVPR_单张RGB-D图像的深度补全相关推荐

最新文章

热门文章