UCSNet（CVPR2020）

  • 论文阅读
    • UCSNet（CVPR2020）
      • 1. MVSNet
      • 2. UCSNet细节
        • a. Cascade module
        • b. Plane sweep volume
        • c. Uncertainty awareness
        • d. Adaptive thin volume

论文阅读

UCSNet（CVPR2020）

论文全称：Deep Stereo using Adaptive Thin Volume Representation with Uncertainty Awareness

论文地址：https://arxiv.org/abs/1911.12012

代码地址：https://github.com/touristCheng/UCSNetgithub.com

论文概要：该论文基于MVSNet进行改进。通过论文标题可知，Deep Stereo是指深度立体几何，即利用深度学习的方法进行深度估计；using Adaptive Thin Volume Representation 指出了本文的创新点之一，构造了Adaptive Thin Volume（ATV）这个模块来对模型进行改善；with Uncertainty Awareness是本文的第二个创新点，利用了Uncertainty的机制对深度扫描范围进行约束。整体来说，本文利用了ATV和Uncertainty Awareness机制对进行多视图深度估计。

分块讲解：

1. MVSNet

以下参考于：https://zhuanlan.zhihu.com/p/148569782?from=groupmessage

MVS是第一个开源的基于深度学习的三维重建系统，该论文的整理流程为：

  1. 输入一张reference image（为主） 和几张source images（辅助）；

  2. 分别用网络提取出下采样四分之一的32通道的特征图；

  3. 采用立体匹配（即双目深度估计）里提出的cost volume的概念，将几张source images的特征利用单应性变换( homography warping)转换到reference image，在转换的过类似极线搜索，引入了深度信息。构建cost volume可以说是MVSNet的关键。具体cost volume上一个点是所有图片在这个程中，点和深度值上特征的方差，方差越小，说明在该深度上置信度越高；

  4. 利用3D卷积操作cost volume，先输出每个深度的概率，然后求深度的加权平均得到预测的深度信息，用L1或smoothL1回归深度信息，是一个回归模型。

  5. 预测正确的深度信息，重建成三维点云。

2. UCSNet细节

先上论文图：

论文整体流程为：

  • 输入reference image 和 source image；
  • 利用 2D Unet 进行特征提取，将上采样的3层分别提出以备用；
  • Stage 1：利用小特征图进行Plane Sweep并计算出Plane Sweep volume，进而利用3D CNN计算出Probability volume，接着用uncertainty estimation将深度扫描范围进行更新（下阶段不用plane sweep了）并估计出深度；
  • Stage 2：利用上阶段估计的范围，调整深度扫描范围，构建出比较轻量级的Adaptive thin volume，接着步骤和stage 1类似；
  • Stage 3：步骤与stage 2类似，最后计算出深度估计，得到最终结果。
a. Cascade module

UCSNet的第一个改进就是将传统的MVSNet改成类似于级联（Cascade）的网络结构，利用粗（Coarse）到精（Fine）的特征图进行优化操作。

如图所示，UCSNet利用2D Unet对原始输入图片分别进行提取，其中用到了三层上采样的部分，以下称为小、中、大特征图，进行下一步操作。

b. Plane sweep volume

本文利用平面扫描方法，将 source image 通过单应性变换 warp 到 reference image 的视角中，构建 cost volume。构建的具体流程如下三图：

对于已知相对位姿两帧图像，reference image中的一个pixel只可能对应于matching image中epipolar line上边的pixel。在拍摄方向上取不同的点(d_1, d_2, …, d_9)分别对应于不同pixel。每个pixel根据其邻域信息计算matching cost，也就是它与reference image中那个pixel的匹配程度。

每个pixel可以用一个vector来记录不同深度上的matching cost。所有的pixel就构成了一个tensor，也就是所谓的cost volume。

c. Uncertainty awareness

该部分就是讲上述 Plane sweep volume 中固定的深度扫描范围，改成类似自适应的深度范围，对于每一个需要扫描的 pixel 都有对应的深度范围。
其中深度范围确定的计算公式则是由该pixel的上一层深度估计与方差确定。

首先 3D CNN 的最后一层为 softmax 层，输出每一个pixel对应深度的概率值，利用以下公式计算出深度期望值：

再根据深度期望，计算出每一个点的深度标准差：

开根号后为方差，最后利用以下公式对深度范围进行更新：

d. Adaptive thin volume

利用 Uncertainty awareness 后计算出深度扫描区域，进而进行深度扫描并构建cost volume，这得出的volume就是作者所说的 Adaptive thin volume。它的深度不是固定的，是根据pixel变化的，所以厚度和数据量也会少很多，所以叫thin volume。

论文阅读--Deep Stereo using Adaptive Thin Volume Representation with Uncertainty Awareness相关推荐

  1. 【论文简述】UCS-Net：Deep Stereo using Adaptive Thin Volume Representation with Uncertainty Awareness（CVPR）

    一.论文简述 1. 第一作者:Shuo Cheng.Zexiang Xu 2. 发表年份:2020 3. 发表期刊:CVPR 4. 关键词:MVS.深度学习.自适应深度.由粗到细 5. 探索动机:因为 ...

  2. 论文阅读笔记：Multi-view adaptive graph convolutions for graph classification

    论文阅读笔记:Multi-view adaptive graph convolutions for graph classification 文章目录 论文阅读笔记:Multi-view adapti ...

  3. 年龄论文阅读——Deep Label Distribution Learning With Label Ambiguity

    论文阅读--Deep Label Distribution Learning With Label Ambiguity 版权声明:本文为博主原创文章,未经博主允许不得转载.https://blog.c ...

  4. [HSI论文阅读] | Deep Feature Extraction and Classification of Hyperspectral Images Based on CNNs

    写在前面 论文: Y. Chen, H. Jiang, C. Li, X. Jia and P. Ghamisi, "Deep Feature Extraction and Classifi ...

  5. 模型量化论文阅读#3----Up or Down? Adaptive Rounding for Post-Training Quantization

    前言 在量化中,常用的量化函数一般的四舍五入函数,即在量化时以0.5为阈值,当超过0.5时,结果为1:不超过0.5时,结果为0.这就是所谓的四舍五入函数.很多时候,直接进行四舍五入量化,结果往往不是最 ...

  6. 论文阅读：RA-Depth: Resolution Adaptive Self-Supervised Monocular Depth Estimation

    中文标题: 分辨自适应自监督单目深度估计 提出问题 传统的无监督深度估计方法如果在固定分辨率上训练,则迁移到其他分辨率上存在严重退化. 创新点 提出一种分辨率自适应的无监督深度学习框架(RA-Dept ...

  7. [论文阅读] Deep Transformers For Fast Small Intestine Grounding In Capsule Endoscope Video

    论文地址:https://doi.org/10.1109/ISBI48211.2021.9433921 发表于:ISBI 21 Abstract 胶囊内窥镜是一种用于检查和诊断难治性胃肠道疾病的进化技 ...

  8. [论文阅读] Deep Automatic Natural Image Matting

    论文地址:https://arxiv.org/abs/2107.07235 发表于:ICJAI'21 Abstract 自动图像抠图(AIM)是指从任意自然图像中估计软前景,而不需要像trimap那样 ...

  9. 论文阅读——Deep 3D Portrait from a Single Image（CVPR2020）

    摘要 In this paper, we present a learning-based approach for recovering the 3D geometry of human head ...

最新文章

  1. 多线程中的指令重排问题
  2. ajax request headers,ajax request VS normal request
  3. 使用Spring Security对RESTful服务进行身份验证
  4. js中的if与Java中的if_JS直接if参数的用法JS中!和!!区别
  5. ubuntu 14.10 64bit系统安装MBuntu主题(仿Mac主题)
  6. Java虚拟机（十）——直接内存概述
  7. airflow部署和使用示例
  8. Oracle Sequence创建与使用
  9. 如何将PDF转成高清JPG图片
  10. mysql导出数据到csv文件
  11. Java中成员变量的超详解
  12. [codeforces 1353E] K-periodic Garland 为什么会想到动归dp
  13. 团队如何限制合适的在制品（WIP）数量
  14. CCF题目：相邻数对
  15. 计算机关闭自带杀毒,电脑系统自带杀毒软件怎么关闭？两种Windows defender彻底关闭方法(图文)...
  16. 机器学习：深度信念网络（DBN）原理和实现
  17. 热门移动端H5开源前端开发框架搜集整理
  18. 俄大神 lopatkin Windows 精简优化系统 - 工具软件
  19. ArcGIS 栅格计算器con（）函数用法
  20. 如何做一个自己的开源聊天项目？（仿微信）

热门文章

  1. Typora常用的快捷键
  2. Ubuntu16.04+Cuda8.0+Caffe+ Opencv3.2+Matlab2015b的配置、安装与编译(三)
  3. 浏览器-缓存(协商缓存和强制缓存)
  4. pico8 掌机_PICOCHAK的制作— PICO-8 Fantasy Console的演示
  5. 川渝地区高温、缺水，水电大省的困局让源网荷储一体化来缓解
  6. Java Web实训项目：西蒙购物网（Simonshop）
  7. php 把unix时间转换成时间,php unix时间戳转换成时间的方法
  8. 聚焦智能制造，科华控股演绎“隐形冠军”的数智化创新之路
  9. scrapy 爬取新浪微博 的微博列表及微博内容
  10. cpu队列长度太长解决方法_电脑关机后cpu风扇还在转如何解决【解决方法】