创新点

1.改进了SPN网络，主要是更新方式上从串行扫描改为局部同时更新，也就是CSPN

网络结构

首先总的结构采用了早期融合模型的框架，但这里的稀疏深度图输入是一个可选输入，指导深度细化，然后将SPN网络嵌入整个网络中而不是专门构建新的网络学习相似性，特征提取使用的是resnet，考虑到下采样过程中会丢失空间信息，网络添加了镜像连接将特征连接到上投影层，特征融合后得到一个深度图，然后根据相似性矩阵更新深度图得到稠密准确的结果。

方法详解

卷积空间传播网络CSPN

给定深度图和图像，本文网络的任务是迭代n次将深度图不断更新，对于每个时间步长t，核大小为k的卷积变换泛函可以写成：

这个核k就是亲和网络的输出，CSPN在一个位置向所有方向传播局部区域同时进行

CSPN具有SPN的所有期望属性。

新的扩散过程的推导：

图（Graph）是用于表示物体与物体之间存在某种关系的结构。数学抽象后的“物体”称作节点或顶点，节点间的相关关系则称作边

其中L是拉普拉斯矩阵，D是图里顶点相邻的边数，A是亲和矩阵，表示有限图，它的每个元素代表各点之间是否有边相连，也就是，是G的非对角部分

新的更新方式与SPN不同用偏微分的方法以时间步长t为变量使用L（拉普拉斯矩阵）更新深度图。

稀疏深度样本的空间传播

就是将上面的网络输出深度（更新前）变为稀疏深度图输入，相应的改变迭代公式：

1.学习到了和有效像素相同的深度值

2.信息传播到了周围像素，保证了平滑度

3.深度图和图像结构对齐

对比SPN

线性传播SPN

线性变换矩阵wt在相邻列之间从左到右线性传播信息

其中I是n×n单位矩阵，初始条件h1=x1，dt（i，i）是对角矩阵，其中第ith个元素是wt的第I行的所有元素之和：

矩阵以逐列方式递归更新，每列是前一列的线性加权组合

上式表示空间各向异性扩散过程，具有线性传播的亲和矩阵A由等式中G的非对角元素组成。

总结

文章贡献

我们将所设计的CSPN应用于给定单个图像的两个深度估计任务：

（1）优化现有最先进方法（SOTA）的深度输出；

（2）通过在传播过程中嵌入深度样本，将稀疏深度样本转换为密集深度贴图。

引导方法深度补全系列—基于SPN模型—1—《Depth estimation via affinity learned with convolutional spatial propagat》文章细读相关推荐

引导方法深度补全系列—晚期融合模型—1—《Dense depth posterior (ddp) from single image and sparse range》文章细读
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档目录创新点实施细节对比sparse_RGBD tips 方法详解损失函数优缺点总结创新点 1.提出了基于贝叶斯理论的两步 ...
引导方法深度补全系列—早期融合模型—4—《S2DNet: Depth estimation from single image and sparse samples》
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档目录创新点一.文章概述二.方法详解 1.网络结构 2.注意力块 3.attention 总结创新点 1.粗劣深度的预测和精细深 ...
非引导方法深度补全系列——1—— 《Sparsity invariant cnns》文章细读
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档目录创新点论文概述方法详解网络结构: 杂七杂八总结参考创新点 1.提出了一种稀疏卷积层,在卷积过程中使用二进制有效性掩码 ...
深度补全文章详读系列
系列文章目录目录系列文章目录前言一.非引导方法二.引导方法 1.Early fusion model(早期融合模型) 2.Late fusion model(晚期融合模型) 3.Explic ...
基于视觉惯性里程计的无监督深度补全方法
标题:Unsupervised Depth Completion From Visual Inertial Odometry 作者:Alex Wong , Xiaohan Fei , Stephani ...
【深度补全算法】基于RGBD相机的深度补全算法(非Lidar)论文与GitHub代码总结
目录前言一.经典的深度补全算法(2018-2019) 1.Deep Depth Completion of a Single RGB-D Image 2.Indoor Depth Completi ...
基于深度法向约束的稀疏雷达数据深度补全（商汤科技和香港大学联合提出）
作者:Tom Hardy Date:2020-02-09 来源:基于深度法向约束的稀疏雷达数据深度补全(商汤科技和香港大学联合提出)
ICRA2021|嵌入式系统的鲁棒单目视觉惯性深度补全算法
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达标题:Robust Monocular Visual-Inertial Depth Completio ...
CVPR2022|稀疏融合稠密：通过深度补全实现高质量的3D目标检测
作者丨花椒壳壳@知乎来源丨https://zhuanlan.zhihu.com/p/500409423 编辑丨3D视觉工坊论文标题:Sparse Fuse Dense: Towards High ...

引导方法深度补全系列—基于SPN模型—1—《Depth estimation via affinity learned with convolutional spatial propagat》文章细读

创新点

方法详解

对比SPN

总结

引导方法深度补全系列—基于SPN模型—1—《Depth estimation via affinity learned with convolutional spatial propagat》文章细读相关推荐

最新文章

热门文章