CVPR2020-深度图超分辨率DSR新方法| Channel Attention based Iterative Residual Learning for Depth Map SR
了解性阅读深度图超分辨率(DSR)领域的文章。发现该领域基于深度学习的进展比较慢。文中的通道注意力明显就是Non-Local注意力。此外,发现这是第二篇利用输入损失来约束重建结果的文章了,而且都是在SR领域,都发表在CVPR2020上。
论文地址:http://openaccess.thecvf.com/content_CVPR_2020/papers/Song_Channel_Attention_Based_Iterative_Residual_Learning_for_Depth_Map_Super-Resolution_CVPR_2020_paper.pdf
Abstract:
尽管在基于深度学习的深度图超分辨率(DSR)方面取得了显著进步,但是如何解决低分辨率(LR)深度图在现实世界中的退化仍然是一个重大挑战。现有的DSR模型通常在合成数据集上进行训练和测试,这与从真实深度传感器获得的数据有很大不同。在本文中,我们认为在这种情况下训练的DSR模型是局限性的,不能有效地处理实际的DSR任务。我们为解决不同深度传感器在现实世界中的退化做出了两点贡献。首先,我们建议将LR深度图的生成分为两种类型:带噪声的非线性下采样和间隔下采样,为此需要相应地学习DSR模型。其次,我们为现实世界中的DSR提出了一个新的框架,该框架包括四个模块:1)带有深度监督的迭代残差学习模块,以从粗到精的方式学习深度图的有效高频分量; 2)通道注意力策略,以增强具有丰富高频成分的通道; 3)多阶段融合模块,有效地从粗到细过程中重新利用结果; 4)深度细化模块,通过TGV正则化和输入损失来改善深度图。在基准数据集上进行的大量实验证明,我们的方法优于当前最新的DSR方法。
Introduction:
深度图在现实世界中存在不同类型,可以分为两种类型:
1) 具有平滑表面的深度图,例如通过立体匹配生成的深度图和由低成本传感器(Kinect)捕获的深度图;
2) 具有清晰边界的深度图,例如激光雷达捕获的深度图。
对于1),深度图始终是平滑的,因此可以使用非线性下采样退化模型和下采样内核来模拟LR深度图的生成。 对于2),由激光雷达捕获的深度图是从现实世界的3D点生成的。 他们总是界限分明。 将3D点的投影过程成像到2D图像上,将两个3D点投影到深度图中的相同2D坐标时,由于遮挡,应该保留深度z较小的3D点。 插值(双三次或退化内核)不适用于这种过程,因此本文认为双三次退化和模糊内核是不合理的,因此提出使用间隔下采样退化来描述下采样进度。 图1(a)展示了两种类型的LR深度图,其中间隔下采样和非线性退化具有完全不同的表现形式。
在本文中,为了有效地处理两种深度图(带有噪声的非线性退化和区间下采样的退化),提出采用了具有深度监督(粗到细)的迭代残差学习框架。子模块使用了通道注意力机制。此外,融合了不同子模块获得的中间结果,以提供有效的信息来应对不同类型的深度图。利用总广义变化(TGV)项和输入损失来进一步完善获得的HR深度图。不需要HR颜色信息的任何支持,并且不同子模块之间的权重共享可以有效地减少参数的数量(递归模型用法),这使本文提出的方法更加灵活。
因此本文的主要贡献概括如下:
1)为了解决现实世界中低分辨率深度图的退化问题,提出将LR深度图的生成分为两类:带噪声的非线性下采样和间隔下采样,为此需要相应地学习DSR模型。
2)为现实世界的DSR提出了一个基于迭代残差学习的框架,在该框架中,通道注意力,多阶段融合,权重共享和深度细化被用于以粗略到精细的方式学习HR深度图。
3)在各种基准数据集上进行的大量实验证明,本文提出的框架优于当前最新的DSR方法。
Approach:
如上图所示,网络结构可以展开为K个子模块。 子模块利用残差连接的机构,并计算每个子模块的输出与gt图像情况之间的损失,以减轻梯度消失的可能性。 每个子模块包含两个部分:特征提取模块(FE)和基于通道注意力的重构模块(CAR)。最终输出是k个子模块输出拼接后重建的结果。
A.Feature extraction block(FE)
每个特征提取模块由卷积层称为Conv(m,n)组成,其中m是内核大小,n是内核数。 在特征提取模块中,它包含具有ReLU作为激活函数的1个卷积层。 在本文中,均设置为m = 3,n = 64,l = 8。
B.Channel attention based reconstruction(CAR)
第一眼看名字以为是通道注意力机制,看了结构才发现就是Non-Local模块,不知道为啥称为Channel attention。具体操作就不说了。
C.Loss Function
1)Sub-module loss
对于第k个子模块,论文计算其输出与gt损失为:
由于会更加关注最后一个子模块的输出,因此为不同子模块的损耗设置了不同的权重,并且随着网络越深入,损耗的权重就越大。 子模块的最终损耗定义如下:
2)Input loss
由于HR深度图复原良好,最终获得的深度图的降采样版本(相同的退化模型)应与原始LR输入DL相同(这个看法在Closed-loop Matters:Dual Regression Networks for Single Image Super-Resolution中出现过)。 因此,本文使用输入损失来进一步约束获得的HR深度图,其定义:
3)TGV loss
此外,深度图通常包含尖锐的边界,因此,利用总广义变化量TGV(OK)来细化最终获得的HR深度图。因此总损失为:
Experiments:
1.Ablation analysis:
2.Interval degradation:
3.Bicubic degradation:
CVPR2020-深度图超分辨率DSR新方法| Channel Attention based Iterative Residual Learning for Depth Map SR相关推荐
- 【CVPR2020视频超分辨率】Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution 阅读笔记
paper:Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution code:Zooming-Sl ...
- 超分辨率重建经典方法——Super-Resolution Through Neighbor Embedding
超分辨率重建之-NE 论文笔记: 摘要 该算法受到了最近的(manifold learning)流行学习算法的启发,特别是局部线性嵌入(LLE).我们运用局部重叠来增强重建高分图像块之间的兼容性和平滑 ...
- CVPR 2020 论文大盘点-超分辨率篇
本文盘点CVPR 2020 所有超分辨率(Super-Resolution,SR)技术相关论文,总计21篇,超分辨率是CV领域传统方向,下面这张图让你一眼明白它要做什么. 图片来自CVPR2019 M ...
- 基于注意力机制的超分辨率重建汇总
基于注意力机制超分辨率汇总 1.Channel Attention and Multi-level Features Fusion for Single Image Super-Resolution ...
- Twitter在超分辨率技术上取得新进展,能还原打码图片
雷锋网AI科技评论按:ICLR 2017 于4月24-26日在法国土伦举行,雷锋网AI科技评论的编辑们也将从法国带来一线报道.近期,雷锋网也围绕会议议程及论文介绍展开一系列的覆盖和专题报道,敬请期待. ...
- 不同分辨率图片匹配_超实用的图像超分辨率重建方法及应用介绍
在之前的文章中已经讲述过很多的传统超分辨率算法.而在AI领域中这几年也是很大热门.CVPR2017超分辨有7篇论文,2018 ICCV共有9篇 ,在CVPR2018中,共收录979篇,而超分辨率论文有 ...
- CVPR2020 | 即插即用!将双边超分辨率用于语义分割网络,提升图像分辨率的有效策略...
点击上方"AI算法修炼营",选择"星标"公众号 精选作品,第一时间送达 本文是收录于CVPR2020的工作,文章利用低分辨率的输入图像通过超分辨率网络生成高分辨 ...
- 【超分辨率】(RCAN)Image Super-Resolution Using Very Deep Residual Channel Attention Networks
论文名称:Image Super-Resolution Using Very Deep Residual Channel Attention Networks 论文下载地址:https://arxiv ...
- 深度学习超分辨率综述阅读笔记(翻译)
深度学习超分辨率综述阅读笔记(翻译) https://arxiv.org/abs/1902.06068 摘要:图像超分辨率(SR)是计算机视觉中增强图像和视频分辨率的一类重要图像处理技术.近几年来,图 ...
- 超分辨率 | 综述!使用深度学习来实现图像超分辨率
关注公众号"AI算法修炼营",选择"星标"公众号 精选作品,第一时间送达 今天给大家介绍一篇图像超分辨率邻域的综述,这篇综述总结了图像超分辨率领域的几方面:pr ...
最新文章
- ZippyPoint: 一种基于学习的特征点提取+二进制描述子,速度提升5倍+,为移动平台提供一种ORB的替代方案...
- CCAI 2020 | 史元春:走出AI伦理困境「演讲回顾」
- python 源码安装教程_python安装步骤
- 腐蚀rust研究台抽奖_超级石化推荐:中石化青岛安工院专家分享延迟焦化装置的腐蚀风险分析!...
- RecyclerView用法--展示多种类型Item数据
- MyBatis系列-Mybatis入门精讲
- 为什么现在的人越来越容易离婚了?
- 【POJ2018】Best Cow Fences
- IDEA插件: 一键自动部署jar到远程服务器 使用 Cloud Toolkit 来部署应用到腾讯云、阿里云服务器
- FPGA学习——Vivado2017.4安装教程
- 中国互联网的5大生死逻辑
- dw超链接标签_使用Dreamweaver制作网页超链接的详细图文教程--系统之家
- 2021-08-05,虾皮API,seller_info - 获得shopee店铺详情
- 多种方式实现字幕滚动效果
- 搬砖:数据结构之链表基本操作总结
- Android 项目实战:智慧北京(黑马)
- 网络中国象棋小游戏的实现
- c#写ASDL宽带重拨功能
- 一款好用的小游戏制作软件:construct2
- grpc stream的应用场景
热门文章
- matlab对excel数据求均值,matlab对excel数据的处理,判断时间是否相同,求均值
- IplImage 应用解读
- 星空连线html5,js canvas实现星空连线背景特效
- AM5728 IPC机制解析
- Android系统服务分析与Native Service实例
- c语言分析工具——函数调用关系生成图像、流程图生成器
- c语言程序设计谭浩强题库,谭浩强c语言程序设计习题答案
- 网络通信基础(入门知识总结)
- 计算机网络——数据通信系统(三)
- delphixe android服务,delphi xe10 android服务gps [复制]