论文阅读：RA-Depth: Resolution Adaptive Self-Supervised Monocular Depth Estimation
中文标题： 分辨自适应自监督单目深度估计
提出问题
- 传统的无监督深度估计方法如果在固定分辨率上训练，则迁移到其他分辨率上存在严重退化。
创新点
- 提出一种分辨率自适应的无监督深度学习框架(RA-Depth）来学习场景深度尺度不变性。具体地说，来为同一场景生成任意尺度的图像。
- 设计了一个双高分辨率网络，利用多路径编码器和解码器来聚合多尺度特征，以进行精确的深度推断。
- 为了明确地学习场景深度的尺度不变性，在不同尺度的深度预测中建立了一个跨尺度的深度一致性损失。
算法简介
任意比例的数据增强
- 原始尺寸图像被resize 成低，中， 高分辨率图像，然后打补丁，复制，裁切成低，中， 高分辨率原始尺寸的输入图像。
- I M I^M IM是由原图直接缩放到 ( c , h , w ) (c,h,w) (c,h,w), I L I^L IL将缩放的I拼接到 I L I^L IL左上角，再向右向下不齐。
- I H I^H IH是将原图先扩大，然后裁切成 ( c , h , w ) (c,h,w) (c,h,w)。
- 从代码来看，内参矩阵交矩无变化，只与缩放比例有关。
- 数据增强后的图像也都遵循Pose的位姿变换。
- 这样的数据增强方式在其他论文中也有看到，在基于双目匹配的无监督深度估计中，为了让单目预测网络克服对水平方向的惯性记忆，将水平方向进行嫁接。参考博文。
- 但是参考方法中仅仅在单一分辨率下进行嫁接，而本文则在不同分辨率随机空间位置下嫁接。
Dual HRNet
- 使用HRnet18作为编码器，类HRnet结构作为解码器。
- HRNet的特点：1.参数量少。2. 特征沟通多。
跨尺度深度一致性损失
- 约束预测结果中 D t L 、 D t M 、 D t H D^L_t、D^M_t、D^H_t DtL、DtM、DtH中对应区域的深度应该相同。
实验结果
- 消融实验中的BaseLine是HRnet18+Mono2-Decoder。
参考文献
He M, Hui L, Bian Y, et al. RA-Depth: Resolution Adaptive Self-supervised Monocular Depth Estimation[C]//Computer Vision–ECCV 2022: 17th European Conference, Tel Aviv, Israel, October 23–27, 2022, Proceedings, Part XXVII. Cham: Springer Nature Switzerland, 2022: 565-581.
论文阅读：RA-Depth: Resolution Adaptive Self-Supervised Monocular Depth Estimation相关推荐
- 论文阅读笔记：Multi-view adaptive graph convolutions for graph classification
论文阅读笔记:Multi-view adaptive graph convolutions for graph classification 文章目录 论文阅读笔记:Multi-view adapti ...
- 论文阅读笔记--Aesthetics-Driven Stereoscopic 3-D Image Recomposition With Depth Adaptation-2018
论文阅读笔记:美学引导的带有深度适应的立体3D图像重构 I.介绍 II.相关工作 A.单目(2D)图像处理 1)美学驱动的重构(Recomposition) 2)图像分割与抠图(Segment and ...
- 论文阅读--Deep Stereo using Adaptive Thin Volume Representation with Uncertainty Awareness
UCSNet(CVPR2020) 论文阅读 UCSNet(CVPR2020) 1. MVSNet 2. UCSNet细节 a. Cascade module b. Plane sweep volume ...
- [论文阅读：姿态识别Transformer] POET: End-to-End Trainable Multi-Instance Pose Estimation with Transformers
[论文阅读:姿态识别&Transformer] 2103 POET: End-to-End Trainable Multi-Instance Pose Estimation with Tran ...
- 模型量化论文阅读#3----Up or Down? Adaptive Rounding for Post-Training Quantization
前言 在量化中,常用的量化函数一般的四舍五入函数,即在量化时以0.5为阈值,当超过0.5时,结果为1:不超过0.5时,结果为0.这就是所谓的四舍五入函数.很多时候,直接进行四舍五入量化,结果往往不是最 ...
- 论文阅读CLAM：Data-efficient and weakly supervised computational pathology on whole-slide images
全视野数字切片(幻灯片/WSIs)图像的数据高效和弱监督的计算病理学 一．WSIs图像介绍 主要应用于病理学细胞图像领域,即组织载玻片到数字格式的转换. 每张内存大,可以放大倍 ...
- 论文阅读：FlowNet 2.0: Evolution of Optical Flow Estimation with Deep Networks
文章目录 1. 论文总述 2. 利用CNN预测光流的另一种思路 3. 通过堆叠网络来进行光流估计优化的idea来源 4. FlyingThings3D (Things3D) dataset 5. Th ...
- 【论文阅读笔记】Occlusion-Aware Siamese Network for Human Pose Estimation
论文地址:Occlusion-Aware Siamese Network for Human Pose Estimation 论文总结 本文的网络名,作者命名为OASNet.本文的出发点就如名字所 ...
- 《论文阅读》FlowStep3D: Model Unrolling for Self-Supervised Scene Flow Estimation
留个笔记自用 FlowStep3D: Model Unrolling for Self-Supervised Scene Flow Estimation 做什么 Scene Flow Estimati ...
最新文章
- @responseBody和@RequestBody
- 独家｜OpenCV 1.3 矩阵的掩膜操作（附链接）
- linux 修改dmi信息,如何从linux清除DMI系统事件日志？
- 赢得市值，失去人心，美团觉得划算吗？
- Marshal类的简单使用
- Qt Creator 代码自动补全设置
- asp.net 按钮单击事件问题(自动弹出新窗口)
- 深度学习模型大合集：GitHub趋势榜第一，两天斩获2000星
- C++轮子队-第三周（需求改进原型设计）
- vue之computed和watch
- java 获取网卡信息_java 使用 java.net.InterfaceAddress 获取网卡信息
- linux系统可以装sas吗,在SAS硬盘上Linux安装注意的事情。
- python运维开发实战
- MySQL 数据库管理之 --- SQL 语言进阶二
- 什么是多径效应？多径效应怎么消除？多径效应解决方法
- ExtJs6学习(二)【环境介绍，构建程序】
- ET框架——demo与自定义登录
- 计算机制图大赛,制图大赛简介
- nagios原理介绍以及安装部署配置使用
- 推荐几个自己用过的软件测试博客论坛