阅读指引

SRCNN
DCSCN
SRDenseNet
SRGAN

论文快速指引：
SRCNN：Learning a Deep Convolutional Network for Image Super-Resolution
DCSCN：Fast and Accurate Image Super Resolution by Deep CNN with Skip Connection and Network in Network
SRDenseNet：Image Super-Resolution Using Dense Skip Connections
SRGAN：Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network

在这里顺便推荐一个博主：Ton10对论文的理解鞭辟入里，对论文的描述非常细节。

SRCNN

SRCNN：Learning a Deep Convolutional Network for Image Super-Resolution
SRCNN是深度学习在图像超分辨率上的开篇之作！，证明了深度学习在超分领域的应用可以超越传统的插值等办法取得较高的表现力。

SRCNN网络非常简单，作者将其分为三部分，特征提取层 - 非线性映射层 - 网络重建层。
在上图网络模型之前原始图像经过预处理(双三次插值)得到低分辨率图像作为网络的输入。
特征提取层： 采用卷积核大小为 c × f 1 × f 1 × n 1 c \times f_1 \times f_1 \times n_1 c×f1×f1×n1提取特征。
非线性映射层： n 1 × 1 × 1 × n 2 n_1\times 1 \times 1 \times n_2 n1×1×1×n2 的卷积核，将上一层的feature map进一步做非线性映射处理，同时加深网络深度。
网络重建层： n 2 × f 3 × f 3 × c n_2 \times f_3 \times f_3\times c n2×f3×f3×c的卷积核，将feature map还原成高分辨率图像SR。
Note：
！！！前两层的卷积后都用ReLU函数进行激活。但第三层不需要激活函数，这里体现的是一个平均的思想，主要利用的是乘加操作。
Loss：（MSE）

滤波器分析：

上图是特征提取层滤波器的学习可视化图，在91张图片的训练结果，其中up-scale-factor=2。
图像a、f：类似于高斯分布。
图像b、c、d：类似于边缘检测。
图像e：类似于纹理检测。
其余：一些坏死的卷积核参数。

DCSCN

DCSCN：Fast and Accurate Image Super Resolution by Deep CNN with Skip Connection and Network in Network
DCSCN介绍了一种轻量级全CNN网络的Super-Revolution算法。
文章特点：使用了skip connection、ResNet结构、并行结构。

DCSCN整体模型可以分为三个部分，特征提取网络 - 重建网络 - 双三次插值上采样
特征提取网络：
作者直接对原始图像进行特征提取，以往的方法先进行上采样再对像素特征提取，实际上信息是冗余的。
使用了7个3 × 3CNN网络进行特征提取输出feature map，通过skip connection连接将不同深度的图像特征，传送到重建网络。
ResNet网络作用主要是两个：防止梯度消失；保留全局信息，缩减图像通道数，减小网络复杂度。
双三次插值上采样：
在网络外对原始图像做一个双三次插值上采样，与重建网络后的结果相加输出高分辨率图像SR。
双三次插值相当于作为一个正则化项去迫使网络学习LR与HR之间的差异，减小LOSS。

这篇文章的方法最大的优势是计算复杂度低，整体网络结构简单。在这种轻量级的情况下还可以取得最优或次优的效果足以证明该方法的成功。

SRDenseNet

SRDenseNet：Image Super-Resolution Using Dense Skip Connections
文章特点，使用了DenseNet、skip connection

SRDenseNet和DCSCN结构非常类似。都是使用了skip connection，主要结构都是一个特征提取加反卷积重建。
输入是从 100 × 100 100\times100 100×100的高分辨率图像中通过下采样得到的 25 × 25 25\times25 25×25的低分辨率图像。
高层特征特征提取：
使用了8个dense块，每个块输出都是128个feature map。每个dense block中有8个卷积层，growth rate为16。在dense块中和dense块间都使用了skip connection，可以学习到更多高低层互补的信息。
瓶颈层：
在上图的（c）中使用了1×1内核的卷积层用作瓶颈层，以减少输入特征映射的数量，特征图的数量减少到256个。提高了模型的紧凑性和计算效率。
反卷积层：
使用了两个 3 × 3 3\times 3 3×3CNN的反卷积，作为一个上采样滤波器。使用反卷积结构可以学到更多的图像细节。
加速了重建过程，整个过程在LR空间进行，如果放大因子为 r r r，则计算成本将减少 r 2 r^2 r2的一倍; LR图像中的大量上下文信息被用来推断高频细节,如果使用相同深度时，反卷积层网络的感受野大约是使用插值网络感受野的 r 2 r^2 r2倍。
重建层： 具有 3 × 3 3\times 3 3×3核和一个输出通道。

LOSS：(MSE)

文章研究并比较了三种不同类型的网络结构。
如图1（a）所示，只有顶层的特征映射被用作重构HR输出的输入，将该结构表示为SRDenseNet_H。
如图1（b）所示，网络中引入了一个跳跃连接，以连接低级和高级特征，称之为SRDenseNet_HL。
如图1（c）所示，使用密集跳跃连接将所有卷积层生成的特征映射拼接起来进行SR重建，并将该方法表示为SRDenseNet_all。默认SRDenseNet为该种结构。
在后续实验中也证明了，第三种带来的表现力要比前两种要好，证明了不同深度层的特征之间包含的信息是互补的。

SRGAN

SRGAN：Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network
这篇文章使用了GAN结构，并且发现PSNR不能完美的作为图像清晰度的评价指标。提出了一种新的损失函数：感知损失。
文章首先提出一种新的SRResNet网络，在PSNR指标上达到了SOTA。
在SRGAN中，使用SRResNet作为生成网络。实验证明确实达到了很好的感知效果。

SRResNet网络结构和SRDenseNet非常之像，用ResNet替换了DenseNet。
首先先对这5种变体模型进行说明：
文章统共提出了五种变体模型（使用了不同的loss函数），对其进行了比较：

SRResNet(MSE-based)：以MSE为内容损失函数，没有对抗损失，后面的SRResNet就是指MSE-based。
SRResNet(VGG22-based)：以VGG22损失函数为内容损失，没有对抗损失。
SRGAN(MSE-based)：以MSE为内容损失函数，外加对抗损失。
SRGAN(VGG22-based)：以VGG22损失函数为内容损失，主要用于捕获低层细节，外加对抗损失。
SRGAN(VGG54-based)：以VGG54损失函数为内容损失，主要用于捕获高层细节，外加对抗损失，后面的SRGAN指的就是以VGG54为内容损失函数。

因为文章质疑了PSNR的评估能力，所以使用了MOS图像评价指标（人为打分）。
实验中证明了SRResNet在PSNR指标上达到了SOTA；但SRGAN在MOS指标上比SRResNet更好。

接下来看下SRGAN的细节：
目标函数：

关注两个地方：

生成网络使用的是SRResNet的结构，判别网络是类似于VGG网络的结构。
生成网络的loss使用的是感知损失：由内容损失（文中取MSE或者VGG损失） + 一定比率的对抗损失(GAN网络本身就有的损失函数)组成。判别网络损失使用原有的损失函数。
也是因为使用了不同的损失函数，才有了上述的五种变体。

未完待续…

最后祝各位科研顺利，身体健康，万事胜意~

超分算法小合集之SRCNN、DCSCN、SRDenseNet、SRGAN相关推荐

图像超分算法小合集二：FSRCNN、DRCN、RDN、EDSR
目录 FSRCNN DRCN RDN EDSR 文章: FSRCNN : Accelerating the Super-Resolution Convolutional Neural Network ...
阿包也是兔娘cosplay全套超清图包合集
阿包也是兔娘cosplay全套超清图包合集既然如此, 现在,解决阿包也是兔娘cosplay全套超清图包合集的问题,是非常非常重要的. 所以, 阿包也是兔娘cosplay全套超清图包合集,发生了会如何 ...
AliSSR 语音超分算法：让在线会议语音更明亮更自然
超分让在线会议语音更明亮,在线会议已成为日常工作中较为普遍的沟通交流方式,接入会议的方式也呈现多样化,比如电脑入会.手机入会又或是电话入会. 雪雅.曜辰|作者众所周知,高采样率且高带宽的音频信号富含 ...
可生成高清视频的Stable Diffusion来了！分辨率提升4倍，超分算法来自腾讯，支持Colab在线试玩...
明敏发自凹非寺来源 | 量子位 QbitAI 免费玩的Stable diffusion,又出新变种了! 古典人像丝滑切换,还都是4倍超分辨率水平,细节也就多了亿点点吧,眉毛发丝都根根分明. 还能 ...
突破网络和屏幕的限制，超分算法让图片和视频秒变清晰
如上图,从100x133pix→400x532pix,除了肉眼可见的清晰,拥有可以将分辨率提升400%的技术到底意味着什么? 它意味着: 老照片.老电影.动漫等画质可快速提升,分辨率自由调节产业算法 ...
研究百度下拉360下拉搜狗下拉神马下拉头条下拉抖音下拉的优化算法（合集帖）
研究百度下拉360下拉搜狗下拉神马下拉头条下拉抖音下拉的优化算法(合集) 这个标题有点长哈,哈哈哈哈,看的是不是有点懵呢?缩减一点,就是研究百度.360.搜狗.神马.头条.抖音下拉词框的优化算法. 开 ...
MATLAB | 特殊绘图小合集(二) | 金字塔图、类桑基图、y轴分段填充折线图
居然又攒出了一期特殊绘图小合集文章,本来以为要攒很久的,本系列主要拿出来一些简单的,单独拿来写篇幅会很短的绘图小技巧做个合集,本期代码为了绘制好看大部分情况使用了以下这段简单小代码进行修饰: func ...
《图像超分》一些论文走读（SRCNN ，ESPCN ，VDSR ，SRGAN）
有时候发现读论文还是挺有意思的一件事,而且多读几回就会越来越熟练. 作为小本科也是充满了信心. 更可喜的是,在AI领域,能看到很多中国名字的学者以及中国的贡献. SRCNN (Learning a D ...
加密货币工具和算法大合集
2019独角兽企业重金招聘Python工程师标准>>> 维基百科- 加密货币加密货币是一种利用密码学原理来保证账户之间交易的安全性并且控制货币发行量的数字资产. 现在市面上已经存在各 ...

超分算法小合集之SRCNN、DCSCN、SRDenseNet、SRGAN