【CV论文阅读笔记】使用DRN网络(双重回归网络)解决SR问题
【CV论文阅读笔记】使用DRN网络(双重回归网络)解决SR问题
本篇笔记来自CVPR2020年论文:Closed-loop Matters: Dual Regression Networks for Single Image Super-resolution
论文地址 :https://arxiv.org/pdf/2003.07018.pdf
项目地址 : https://github.com/fengye-lu/DRN-master
Motivation:
SISR(Single Image Super-Resolution)领域一直存在两个问题:
- 从LR(Low Resolution低分辨率图像)到HR(high Resolution高分辨率图像)是个典型的不适定问题(ill-posed problem),这意味着从LR到HR的可能的函数空间非常大,因此很难找到好的,鲁棒性更强的解决方案
- 因为在现实中从HR到LR的过程的退化方法通常是未知的,而我们使用的成对的训练数据又通常是通过特定的退化方法从HR到LR,所以训练后的模型在处理真实的LR图像时往往表现并不出色
注:什么是不适定问题:
图像处理中不适定问题(ill posed problem)或称为反问题(inverse Problem)的研究从20世纪末成为国际上的热点问题,成为现代数学家、计算机视觉和图像处理学者广为关注的研究领域。数学和物理上的反问题的研究由来已久,法国数学家阿达马早在19世纪就提出了不适定问题的概念:称一个数学物理定解问题的解存在、唯一并且稳定的则称该问题是适定的(WellPosed)。如果不满足适定性概念中的上述判据中的一条或几条,称该问题是不适定的。
典型的图像处理不适定问题包括:图像去噪(ImageDe-nosing),图像恢复(Image Restorsion),图像放大(Image Zooming),图像修补(ImageInpainting),图像去马赛克(image Demosaicing),图像超分辨(Image super-resolution)等。
迄今为止,人们已经提出许多方法来解决图像处理中的不适定性。但是如何进一步刻画图像的边缘、纹理和角形等图像中重要视觉几何结构,提高该类方法在噪声抑制基础上有效保持结构和纹理能力是有待深入研究的问题。
Solution:
- 针对问题1,在LR数据处理中加入额外的约束,设计一个反向网络实现HR–>LR的学习,实现更多的监督,来减少可能函数的空间大小
- 针对问题2,在引入了上述的HR–>LR的反向网络后,实际上可以只用LR图像(但数据集并不是只有LR图像,还有部分的pair data来帮助LR–>HR的学习)来进行训练,提升了模型在处理现实数据的表现
关于这种解决方式我认为可以这样理解:
我们假设模型P负责把LR图像变成好的HR图像,然后假设现在还有个模型D负责把HR图像变成最接近真实拍的LR图像,那么如果P做的不错,也就是说把一堆LR图像都转化成了一堆HR图像,但我们不知道模型P在现实任务中能不能也表现得这么好?那么这个经过处理的一堆HR图像在经过性能良好的模型D之后,应该能变回对应的一堆LR图像(其中有些是unpair data只有LR没有对应的HR),如果可以,那说明模型P即使在现实任务中也能做的不错
算法部分:
其中1sp是指示函数(indicator function),
网络架构如下所示:
整个网络是个UNet结构,其中,编码器部分由简单的卷积层和LeakyRelu组成,分辨率逐层降低。解码器部分由RCAB(残差结构+CA注意力)和pixelshuffle上采样组成。编码器和解码器组成了Primal回归任务。Dual回归任务对超分后的图像进行卷积下采样得到LR图像。
Experiment
作者在具有成对的Bicubic数据和不成对的真实数据情况下,对图像超分辨率任务进行了广泛的对比实验。所有实现均是基于PyTorch框架。测试数据集是五个基准数据集,包括SET5,SET14,BSDS100,URBAN100和MANGA109。评价指标是常用的PSNR和SSIM。训练集是DIV2K和Flickr2K数据集。模型PSNR分数在30左右表现性能良好。
【CV论文阅读笔记】使用DRN网络(双重回归网络)解决SR问题相关推荐
- 华为又开始放大招了?CV新架构:VanillaNet: the Power of Minimalism in Deep Learning 论文阅读笔记
华为又开始放大招了?CV新架构:VanillaNet: the Power of Minimalism in Deep Learning 论文阅读笔记 一.Abstract 二.引言 三.单个 Van ...
- 论文阅读笔记:《一种改进的图卷积网络半监督节点分类》
论文阅读笔记:<一种改进的图卷积网络半监督节点分类> 文章目录 论文阅读笔记:<一种改进的图卷积网络半监督节点分类> 摘要: 引言 非欧几里得数据 1 深度池化对偶图神经网络 ...
- 论文阅读笔记(2):Learning a Self-Expressive Network for Subspace Clustering,SENet,用于大规模子空间聚类的自表达网络
论文阅读笔记(2):Learning a Self-Expressive Network for Subspace Clustering. SENet--用于大规模子空间聚类的自表达网络 前言 摘要 ...
- VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION(VGG网络)-论文阅读笔记
VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION VGG网络 论文阅读笔记 //2022.4.11上午9:53开始阅 ...
- 【CCM-SLAM论文阅读笔记】
CCM-SLAM论文阅读笔记 整体框架结构 如图所示:单智能体只负责采集图像数据,运行实时视觉里程计VO以估计当前位姿和环境地图,由于单智能体计算资源有限,负责生成的局部地图只包含当前N个最近的关键帧 ...
- 【SOD论文阅读笔记】Visual Saliency Transformer
[SOD论文阅读笔记]Visual Saliency Transformer 一.摘要 Motivation: Method: Experimental results 二.Introduction ...
- 论文阅读笔记:Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
论文阅读笔记:Swin Transformer 摘要 1 简介 2 相关工作 3 方法论 3.1 总览 Swin Transformer block 3.2 shifted window-based ...
- PolyFormer: Referring Image Segmentation as Sequential Polygon Generation 论文阅读笔记
PolyFormer: Referring Image Segmentation as Sequential Polygon Generation 论文阅读笔记 一.Abstract 二.引言 三.相 ...
- OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks论文阅读笔记
文章目录 OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks论文阅读笔记 ...
最新文章
- 微信小程序 python接口_微信小程序-封装请求基准路径、接口API 和使用
- 微服务:Java EE的拯救者还是掘墓人?
- 如何防范SpringBoot 相关漏洞?
- Linux C:文件描述符、IO重定向、恢复标准输入输出
- 树的距离(牛客网树上主席树+dfs序)
- 推荐系统XDeepFM模型--DeepFM和DCN升级版
- TiDB 源码阅读系列文章(十八)tikv-client(上) 1
- Spark基础学习笔记13:Scala函数
- Greenplum:你不可不知的实施与维护最佳实践
- Storm目录树、任务提交、消息容错、通信机制
- php如何删除数据mysql数据库_php数据库如何删除数据
- 关于 chrome 上支付宝安全控件无法使用,以及检测不到数字证书的问题
- 【从Northwind学习数据库】汇总查询
- 服务器起到的是什么作用是什么,服务器的作用是什么
- 总结VS下opencv无法正常显示图片的几种问题及其解决方案
- 右键计算机管理打开记事本,右键菜单怎么加入“用记事本方式打开”
- 初学者学习app2sd并且成功使用它的全过程
- Docker镜像拉取报错:Error response from daemon: Get https://registry-1.docker.io/v2/
- Java Web项目实战案例一
- 蓝桥杯倒计时 | 倒计时19天