《图像超分》一些论文走读（SRCNN ，ESPCN ，VDSR ，SRGAN）
有时候发现读论文还是挺有意思的一件事，而且多读几回就会越来越熟练。
作为小本科也是充满了信心。
更可喜的是，在AI领域，能看到很多中国名字的学者以及中国的贡献。
SRCNN （Learning a Deep Convolutional Network for Image Super-Resolution, ECCV2014）
正所谓开山之作，现在看来这个架构是很简单的，因为只用到了三层卷积层，不过在那个时候深度神经网络刚刚兴起的时候能有这样的设计也是很不错了。此算法的步骤如下：
1：先采用Bicubic插值算法将LR图像放大成目标尺寸大小的图片:
2：接着通过三层卷积神经网络来实现端对端的非线性映射。
3：最后输出为高分辨率图像。
在论文中，作者分别将三层卷积层解释为：图像特征提取，非线性特征映射和高分辨率图像重建，其实说白了也就是。相比较于传统方法，SRCNN不仅在PSNR等方法上有了明显提升，在视觉上也有了较大的改观。
监督学习评估方法就是像素级别的L1距离。
ESPCN （Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network）
SRCNN的缺点就是现将低分辨率的图像进行上采样，来得到和目标图像同样的尺寸，再输入到网络中去进行三层卷积运算，这样带来的计算量是很巨大的，计算复杂度也提升了。
于是该方法换了一种策略，将上采样的操作放到了卷积运算的最后，先直接在LR的图像进行图像特征提取和非线性特征映射，最后再采用亚像素卷积(sub-pixel convolution)来实现上采样。由于带计算的操作都是在低分辨率空间中进行的，节省了很多网络计算，因此速度很快。
亚像素卷积(sub-pixel convolution)就是本论文最大的创新点，它实际上并不涉及到卷积运算，实际上是一种排列，是一种高效、快速、无参的像素重排列的上采样方式。由于很快，直接用在视频超分中也可以做到实时。其在Tensorflow中的实现称为depthtospace ，在Pytorch中的实现为PixelShuffle。
具体来说呢，就是最后的上采样不是通过学习得来的，没有任何参数，全程带参数需要卷积的运算都是在LR维度进行的，最后一层卷积的通道数是R * R * C，每一个特征图的尺寸和输入的LR图像是一致的，R是需要上采样放大的倍数（上采样是2倍，那么图像像素点数扩大4倍），C是最终输出图像的通道数。也就是最后一层卷积全部包含了输出图像的像素，然后按照自己的喜好习惯和方便程度，安排SR像素点和卷积图特征点的对应关系，通过监督学习，对最后一层卷积的所有像素进行映射训练，最后按照顺序排列像素点即可。
VDSR （Accurate Image Super-Resolution Using Very Deep Convolutional Networks）
从图像的架构来看，重复使用Conv 和 非线性激活（比如ReLu），也就是多加了几层而已，比SRCNN要深一些。但是一条很明显的是借鉴了残差网络的概念，将LR的特征直接引入并转换到了HR图像。
上面的黑色框，是对每个卷积层使用64个过滤器，并绘制一些示例特征图用于可视化而已，我们会发现很多特征图在运用了ReLu后是0。
在SRCNN中，输入的LR必须经过所有层，直到它到达输出层。对于许多权重层，这将成为需要非常长期记忆的端到端关系。因此，消失/爆炸梯度问题可能是关键的。我们可以简单地用残差学习来解决这个问题。
作者认为网络越深越好，且HR和LR的低频信息是一样的，因此只需要用更深的网络学习到高频的信息（这部分高频信息就是高分辨率图像和低分辨率图像的差别），而我们只需学习学习高分辨率图像和低分辨率图像之间的高频部分残差即可，然后叠加低分辨率图像图像的低频信息就可。
SRGAN（Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network）
作者创新性的使用了GAN网络来做SR任务，最终目标是训练一个生成函数G，该函数估计给定的LR输入图像其对应的HR对应图像。这样做的原因是，作者认为MSE的损失函数，很容易丢失高频信息，使用pixel-wise的MSE使得图像变得平滑，而如果先用VGG来抓取到高级特征（feature）表示，再对feature使用MSE，可以更好的抓取不变特征。
且提出了 perceptual loss（感知误差）
一些细节解读和翻译：
LR图像可以通过对SR图像进行高斯模糊来得到平滑的图像，以及还可以使用下采样的方式获得，LR的图像维度是W * H * C，那么SR的维度是(W * r)* (H * r)* C，其中r就是下采样率，也就是缩小倍数。
构造器G参数的是θ_G，它有L层，代表构造器网络也有L层，通过优化SR任务的损失函数l^SR来得到。
将感知损失定义为内容损失和对抗损失分量的加权和:
其中Content Loss我们不选像素级别的MSE，
切记，我们不选择像素级别的MSE，这种损失函数只关注低频信息，会使得产生的图像模糊。
而是自定义一个VGG LOSS，他是用预先训练好的了的VGG19来作为评判，主要是是为了特征提取，提取出来的特征图用于计算内容损失，所以VGG没有参数更新和训练。
其实就是，一方面LR经过G网络生成的图像，假SR，经过VGG网络，提取一堆特征图出来，另外一方面LR对应的真SR经过同样的VGG网络，提取出同样的一堆特征图出来，对应位置的作为一对儿。因为经过G图像生成和目标图像有相同的维度和含义，所以具有可比性。
式子中，对于每一对儿LR产生的和SR产生的特征图进行欧式距离运算，累加后计算特征差异，作为内容损失函数。试想，如果LR能通过G产生和SR一样的图片，那么不仅仅是最后的表现一样，更高频次的信息也应该是一致的，因此这就是采用在这种方式，不采用MSE这种简单版本的损失计算，MSE只能看到低频的信息。这种就称作是感受损失。
另一个是Adversarial Loss，G视图欺骗D自己生成的是SR图片，实际上是Fake SR 图片，但是D需要正确判别出哪些是Real SR图片，哪些是Fake SR 图片。这个损失就是一般的GAN的损失了，毫无疑问就是差用二进制的BCE（Binary CrossEntropyLoss）或者BCEWithLogitsLoss，损失函数。只是为了判别真假。
《图像超分》一些论文走读（SRCNN ，ESPCN ，VDSR ，SRGAN）相关推荐
- 图像超分论文阅读列表 super_resolution_paper_lists
文章目录 1. Up-sample operation Real-Time Single Image and Video Super-Resolution Using an Efficient Sub ...
- 【论文解读】图像超分最新记录！南洋理工提出图神经网络嵌入新思路，复原效果惊艳...
文章来源于极市平台,作者Happy paper: https://arxiv.org/abs/2006.16673 code: https://github.com/sczhou/IGNN(尚未开源) ...
- 深度学习磁共振图像超分与重建论文阅读
深度学习磁共振图像超分与重建算法研究 Super-resolution reconstruction of MR image with a novel residual learning networ ...
- 《深度学习》图像超分初识
一:简介 图像超分(super-Resolution)是将低分辨率的图像或者视频序列恢复出高分辨率图像. 可以用在视频数字高清播放,视频监控,视频编码,图像还原和医学影像等领域,按照类别可分为单个图像 ...
- 图像超分综述:超长文一网打尽图像超分的前世今生 (附核心代码)
文章目录 一.目的 二.研究背景 三.存在的问题 四.研究现状 五.各算法创新点及核心代码总结 SRCNN ESPCN VDSR DRCN DRRN EDSR SRGAN ESRGAN RDN WDS ...
- 计算摄影——图像超分
这一节主要介绍一下基于单张图的图像超分算法.图像超分,就是要从低分辨率的图像恢复为高分辨率的图像,它在日常的图像和视频存储与浏览中都有广泛的应用. 基于深度学习的图像超分算法 不同的采样结构 图像超分 ...
- 图像超分中的深度学习网络
图像超分中的深度学习网络 质量评估 操作通道 有监督算法 预上采样 后采样超分 逐步上采样 迭代上下采样 上采样的学习方式 残差块 递归学习 多路径学习 密集连接 通道注意力机制 其他卷积 像素递归网 ...
- 图像超分——Real-ESRGAN快速上手
契源 想必每个自媒体行业从业者都面临过这样一种情况:从网络上找到一张素材做封面,然而素材图片往往太模糊.那么,有没有办法对其进行高清修复呢?这就是计算机视觉领域的子领域图像超分所研究的主要问题. 在我 ...
- 【达摩院OpenVI】AIGC技术在图像超分上的创新应用
团队模型.论文.博文.直播合集,点击此处浏览 一.背景 近10年来,深度学习技术得到了长足进步,在图像增强领域取得了显著的成果,尤其是以GAN为代表的生成式模型在图像复原.老片修复,图像超分辨率等方面 ...
- SRCNN-基于深度学习的图像超分入门
图像超分 图像超分辨率问题定义: 输入一张低分辨率图像时(low resolution,LR),通过算法,输出一张高分辨率图像(high resolution,HR) 传统的图像插值算法可以在某种程度 ...
最新文章
- Java项目:家庭财务管理系统(java+Springboot+ssm+mysql+maven)
- 计算机领域收费sci期刊,计算机领域收费sci期刊 - 百度学术
- python操作excel表格文件--使用xlrd模块
- 快讯｜腔家政服务商“懒猪到家”完成２００万种子轮融资，卡伊妮洗衣连锁投资...
- 在ASP.NET AJAX 1.0框架中访问Web服务
- 2020（广东）功能性农业大健康大会中国农民丰收节交易会
- P3960-列队【权值线段树】
- 创建型、结构型、行为型模式(1)
- 1096: 字符逆序
- web项目中保存emoji到mysql数据库
- Exchange证书攻略
- 向量运算（点积，叉积）
- 华为安全 HCIP 723题库+知识点
- RedMonk最新编程语言排行榜；Spring 框架现 RCE 漏洞……|叨资讯
- Modbus 的RTU、ASCII、TCP解析
- 磁盘性能--IOPS和吞吐量
- 西安达刚公路机电科技有限公司董事长李太杰简介
- mac 部署nexus私服库
- Google I/O：Android ConstraintLayout 扁平化布局入门 andstudio 2.2
- java过滤器敏感字的拦截_【JavaWeb】94：如何屏蔽敏感词？