图像深度估计，是目前计算机视觉研究中的经典问题。深度图（Depth Map）表示每个像素在空间中的位置，是一种普遍的三维场景信息表达方式，广泛应用于自动驾驶、三维重建等方面。
基于深度学习的单目图像深度估计是本领域近几年的趋势。想把最近看的几篇论文做一下总结，主要是方便以后查看。

采用无监督学习的方法来估计深度，基本思路是匹配好左右视图的像素，得到disparity map。根据得到的视差disparity，由d = bf/disparity，算出depth map。
本文是利用图像重建误差来最小化光度误差，虽可以得到很好地图像重建结果，但得到深度预测结果非常差。为了优化这个结果，作者采用Left-Right Consitency来优化。也就是以左视图为输入，以右视图为training中的监督真值，生成右侧对应的视图；然后又以左视图为监督真值，根据右视图生成左视图。最小化这两个过程的联合loss则可以得到一个很好的左右视图对应关系。最终网络得到一个四个scale大小的输出(disp1-disp4)。
Code：https://github.com/mrharicot/monodepth

3.Towards real-time unsupervised monocular depth estimation on CPU-IROS2018

这篇文章是在《Unsupervised Monocular Depth Estimation With Left-Right Consistency》的基础上提出了pydnet模块，为解决计算大量参数，在正向恢复时间需大量的内存，模型的实时性能只能在高端或耗电量大的gpu上可行的问题。这是第一种能够在cpu上实现这种性能的方法。
Code:https://github.com/mattpoggi/pydnet

4.Unsupervised Learning of Depth and Ego-Motion from Video-CVPR2017

这篇文章使用端到端的学习方法，以视图合成作为监督信号，提出一种基于视频序列的无监督学习框架，用于估计单目图像深度和相机运动。虽然效果不太好，但是在方法和适用性方面是很值得学习的。《Unsupervised Ego-Motion and Dense Depth Estimation with Monocular Video》这篇文章在zhou的基础上，提出了两个新的loss函数，效果有很大提升。
Code：https://github.com/tinghuiz/SfMLearner

5.Deep Ordinal Regression Network for Monocular Depth Estimation-CVPR2018

这篇论文的思想是将深度估计建模为一个回归问题，网络框架是deeplab+序回归。网络框架部分是借鉴语义分割中经典的网络框架模型deeplabv2和pspnet思想。该方法具有较高的精度和较快的同步收敛速度，同时也能够捕捉多尺度信息。
目前在KITTI-depth prediction上排名第二，获得2018年“鲁棒视觉挑战”一等奖。
Code：https://github.com/hufu6371/DORN

6.Attention-based Context Aggregation Network for Monocular Depth Estimation-CVPR2019

这篇论文基本思想是把深度估计问题转换为分类问题(那么有一个问题就是：语义分割领域的框架是不是可以直接拿过来用？？？)。
网络框架分为三部分:
1.Encoder框架采用ResNet网络(能提取稠密特征，有较好的梯度传播能力)，本文将原始ResNet中的block3和block4替换为2-膨胀残块和4-膨胀残块，有利于初始化预训练参数，保持subsequent特征图的尺度；
2.Decoder框架提出了新的CAM(Context Aggregation Module)模块，利用Self-attention和Image-Pooling分别提取并聚合图像级和像素级上下文信息；
3.提出了一种易于实现的Soft Ordinal Inference，与单纯的硬推理相比，该策略可以减少离散误差，生成更真实的深度图。
Code：https://github.com/miraiaroha/ACAN

7.Depth from Videos in the Wild:Unsupervised Monocular Depth Learning from Unknown Cameras-CVPR2019

这篇论文是今年四月份由谷歌AI与机器人实验室联合发布的最新研究结果，效果可媲美LiDAR。

这品论文提出了一种利用相邻视频帧间的一致性作为监控信号，同时从单目视频中学习深度、自我运动、物体运动和摄像机内参的新方法。主要贡献如下：
1.证明了可以用一种无监督的方式训练深度网络，并从视频本身预测出相机的内参(包括镜头畸变参数)；
2.是第一个以几何方式从预测深度直接处理视频中的遮挡问题；
3.大大减少了处理场景中移动元素所需的语义理解量：只需要一个覆盖可能属于移动对象的像素的单个掩码，而不是分割移动对象的每个实例并跨帧跟踪它。
这篇文章还未公布源码，文章还需再更进一步的理解。

基于深度学习的单目图像深度估计总结相关推荐

最新综述｜深度学习的单目人体姿态估计
向大家推荐一篇今天新出的人体姿态估计综述文章 Monocular Human Pose Estimation: A Survey of Deep Learning-based Methods ,对20 ...
单目图像深度估计 - 深度篇：David Eigen的两篇研究
目录入门篇:图像深度估计相关总结应用篇:Learning to be a Depth Camera 尺度篇:Make3D 迁移篇:Depth Extraction from Video Using ...
基于深度学习的单目深度估计综述
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达文章:Monocular Depth Estimation Based On Deep Learnin ...
前车碰撞预警——FCW,基于深度学习和单目摄像头测距的前车碰撞预警源码
前车碰撞预警--FCW,基于深度学习和单目摄像头测距的前车碰撞预警源码. 单目测距,多目标跟踪. 车辆检测,智能adas,FCW,价格只包括源码及设计文档讲解. 我使用的版本说明: gpu版本: an ...
基于深度学习和单目摄像头测距的前车碰撞预警源码
前车碰撞预警--FCW,基于深度学习和单目摄像头测距的前车碰撞预警源码单目测距,多目标跟踪. 车辆检测,智能adas,FCW,编号只包括源码及设计文档讲解. 我使用的版本说明: gpu版本: ano ...
单目图像深度估计——Monodepth2
深度估计方法及网络架构深度估计方法网络架构深度网络位姿网络损失函数构建深度估计方法 Monodepth2使用基于单目图像的无监督学习法完成深度估计的任务.根据SFM模型原理在卷积神经网络中 ...
单目图像深度估计 - 入门篇
由于公司网站设置,基于git的Blog越来越难打开,所以把部分内容搬运到这里. 一转眼都是两年前的内容了,且大部分都是我的个人理解,现在看来也难免有些Bug.虽然后来由于项目安排的关系没有继续单目图像 ...
单目图像深度估计 - 应用篇：Learning to be a Depth Camera
目录入门篇:图像深度估计相关总结应用篇:Learning to be a Depth Camera 尺度篇:Make3D 迁移篇:Depth Extraction from Video Using ...
单目图像深度估计 - 泛化篇：S2R-DepthNet
单目图像深度估计 - 泛化篇:S2R-DepthNet 偶然看到微软亚研的单目图像深度估计发表在了CVPR2021上,决定更新一下这个系列. 官方已经有了十分详细的论文解读,我认为这篇文章比较有意思的 ...

基于深度学习的单目图像深度估计总结

1.Depth Map Prediction from a Single Image using a Multi-Scale Deep Network-NIPS2014

2.Unsupervised Monocular Depth Estimation With Left-Right Consistency-CVPR2017

3.Towards real-time unsupervised monocular depth estimation on CPU-IROS2018

4.Unsupervised Learning of Depth and Ego-Motion from Video-CVPR2017

5.Deep Ordinal Regression Network for Monocular Depth Estimation-CVPR2018

6.Attention-based Context Aggregation Network for Monocular Depth Estimation-CVPR2019

7.Depth from Videos in the Wild:Unsupervised Monocular Depth Learning from Unknown Cameras-CVPR2019

基于深度学习的单目图像深度估计总结相关推荐

最新文章

热门文章