论文阅读笔记《Learning monocular depth estimation infusing traditional stereo knowledge》
网络名称：monoResMatch
论文来源：CVPR2019
核心思想
本文提出一种自监督实现单目深度估计的网络，其思路也非常简单，将单目深度估计转化成立体匹配问题，再用立体匹配网络进行视差估计。整个网络结构包含以下几个部分：初级特征提取网络，初级视差估计网络，视差优化网络。初级特征提取网络是由一个简单的沙漏型结构构成的，对左图提取高纬度的特征图FL0F^0_LFL0。初级视差估计网络则是一个带有跳跃连接的多尺度的沙漏型结构，输入左特征图FL0F^0_LFL0输出多尺度的左视差图dL0..2d^{0..2}_LdL0..2和一个虚拟的合成的右视角下的视差图dR0d^{0}_RdR0。视差优化网络则是延续了CRL和iResNet的思路，采用残差学习的方式对初级视差图进行优化。利用右视角的视差图dR0d^{0}_RdR0和左特征图FL0F^0_LFL0，经Warp操作之后可获得合成的右特征图F~R0\widetilde{F}^0_RFR0，在此基础上计算出误差图eLe_LeL，再与初级视差图级联起来，输入到视差优化网络中输出不同尺度的视差图。文章还利用左右特征图构建了匹配代价卷，但并没有说明如何利用这一信息的。
本文是采用自监督训练的，也就是说不使用Groundtruth，为了训练网络，作者利用SGM算法获得视差图替代Groundtruth。损失函数分为初始部分和优化部分，分别计算初始视差图的误差和优化视差图的误差，初始部分对左右视差图都计算损失，优化部分只计算左视差图。具体损失函数由三个部分组成：图像重构损失，视差平滑损失和替代监督损失。图像重构损失就是比较左图，与由右图和视差图合成的左图之间的差别。视差平滑损失是利用边缘信息加权。代替监督损失就是利用SGM生成的视差图对网络输出的视差图进行训练。
创新点
- 提出一种新型的自监督单目深度估计网络，将单目图片重构成双目特征信息，再按照立体匹配的方式获得精准的视差图
- 利用SGM获取替代的groundtruth，用于实现自监督训练，并设计了相应的损失函数
总结
这篇文章的思路和之前商汤的一篇文章很类似，都是将单目深度估计问题转化为双目立体匹配问题。但之前的文章是专门训练了一个网络用于合成右图，而在这篇文章中并没有专门对合成图像进行训练，不过仅通过左特征图能否获得准确的视差图甚至是右视角下的视差图，我还是不确定。而且文中提到的匹配代价卷并没有说明如何利用的。
如果大家对于深度学习与计算机视觉领域感兴趣，希望获得更多的知识分享与最新的论文解读，欢迎关注我的个人公众号“深视”。
论文阅读笔记《Learning monocular depth estimation infusing traditional stereo knowledge》相关推荐
- 《Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs》论文阅读笔记
<Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs>论文阅读笔记 主要挑战贡献: KG上的推理挑战主要 ...
- 论文阅读 | NIPS‘20 | Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs
很有意思的一篇paper.在众多Knowledge Graph Embedding (KGE) 的论文中通过问题设计和有意思的解决方式脱颖而出. 首先来看看问题设计. 一般的KGE model都是利用 ...
- Beta Distribution Guided Aspect-aware Graph for Aspect Category Sentiment Analysis论文阅读笔记（EMNLP2021）
目录 标题翻译:基于Beta分布引导方面感知图的方面类别情感分析 原文链接:https://aclanthology.org/2021.emnlp-main.19.pdf 摘要: 1 引言 2 相关工 ...
- Phrase-BERT: Improved Phrase Embeddings from BERT with an Application to Corpus Exploration论文阅读笔记
问题: 因为bert是在长文本(512token长度)预训练的,因此,如果没有特定于任务的微调,BERT在短语和句子上的表现通常比简单基线(如GLoVe的平均池化)更差.且字节2020在EMNLP上的 ...
- DeepWeak: Reasoning Common Software Weaknesses via Knowledge Graph Embedding 阅读笔记
DeepWeak: Reasoning Common Software Weaknesses via Knowledge Graph Embedding 阅读笔记 Article Background ...
- [论文阅读笔记] Are Meta-Paths Necessary, Revisiting Heterogeneous Graph Embeddings
[论文阅读笔记] Are Meta-Paths Necessary? Revisiting Heterogeneous Graph Embeddings 购物返利 www.cpa5.cn 本文结构 解 ...
- 论文阅读笔记—Reasoning on Knowledge Graphs with Debate Dynamics（AAAI，2020）
这是一篇非常有趣的工作,看完会觉得眼前一亮. 论文标题:Reasoning on Knowledge Graphs with Debate Dynamics 发表于AAAI,2020 动机 很多机器 ...
- 论文阅读笔记——《a simple but tough-to-beat baseline for sentence embeddings》
<a simple but tough-to-beat baseline for sentence embeddings>published at ICLR 2017. ICLR会议的论文 ...
- Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction论文阅读笔记
我的博客链接 0. 前言 1. 作者试图解决什么问题? 作者想在KGE中对语义层级(semantic hierarchies)进行建模. 2. 这篇论文的关键元素是什么? semantic hiera ...
- 斯坦福图机器学习CS224W笔记自用: Reasoning in Knowledge Graphs using Embeddings
1. 基于嵌入的知识图推理 目标:如何对知识图进行多跳推理? 知识图推理: 回答多跳查询 路径查询 连接查询 Query2box 示例:生物医学图 知识图谱上的预测查询 我们是否可以进行多跳推理,即在 ...
最新文章
- 视觉人工智能市场格局初成型，国内企业占半壁江山
- 云极知客开放平台接口调用方法（C#）
- 在人生路上对我影响最大的三位老师
- EL之GB(GBM)：利用GB对回归(性别属性编码+调2参)问题(整数值年龄预测)建模
- apache代理时java获取IP的问题
- 大型程序是如何开发的_大型小程序如何研发提效
- Windows+Nginx+Tomcat搭建负载均衡和集群环境同时实现session共享(一)
- Linux Shell脚本_设置最大打开文件数
- 线性代数：线性组合学习笔记
- Nginx下Uwsgi模块常用参数说明
- 第6章 数组、指针与字符串（二）指针与函数
- PAT-BASIC-1003-我要通过！
- 《Java编程思想》读书笔记（14）
- android怎么执行命令,Android程序中执行adb命令
- Mugeda（木疙瘩）H5案例课—换装小游戏-岑远科-专题视频课程
- 前端应届简历应该怎么写？
- Linux如何删除用户
- Mac Android Studio Flutter环境配置之第一个Futter项目
- 串口工具Kermit
- jquery给input赋值 val()方法