Deep Back-Projection Networks For Super-Resolution

Muhammad Haris, Greg Shakhnarovich, and Norimichi Ukita

CVPR2018

摘要

现有的方法都是在学习LR到HR的映射，不能够利用上LR和HR之间的依赖关系。于是论文提出了一个DBPN，迭代使用上采样和下采样来建立误差反馈机制。实验证明论文提出DBPN可以得到很好的效果。

主要贡献

误差反馈：论文提出了迭代误差修正反馈机制，可以通过计算上采样和下采样的误差来让网络获得更好的结果。
相互连接的上采样和下采样段：论文不仅将目标放在获得ＳR上，还利用下采样方法将其投影到LR空间上，反复做这个操作。
深度连接：论文的方法可以将网络中迭代过程中获得的每个SR的特征图连接起来，并利用这些信息重构SR。
密集连接的改进：论文通过密集连接上下采样网络来提升网络准确性。

DBPN

论文网络的主要模块就是projectio unit，它或者是上采样投影： $LR\rightarrow HR$ ，或者是下采样投影： $HR\rightarrow LR$

上采样投影单元：

从左到右：

$\begin{matrix} scale \, up &H_{0}^{t}=(L^{t-1}*p_{t})\uparrow_{s} \\ scale \, down &L_{0}^{t}=(H^{t}_{0}*g_{t})\downarrow_{s} \\ residual &e_{t}^{l}=L_{0}^{t}-L^{t-1} \\ scale\, residual \, up &H_{1}^{t}=(e_{t}^{l}*q_{t})\uparrow_{s} \\ output\, feature \, map &H^{t}=H_{0}^{t}+H_{1}^{t} \end{matrix}$

$*$ 表示空间卷积操作， $\uparrow_{s},\downarrow_{s}$ 分别表示上采样、下采样s倍 $p_{t},g_{t},q_{t}$ 分别代表在ｔ阶段的卷积层。在上采样投影单元时，先将 $L^{t-1}$ 投影到 $H_{0}^{t}$ ，再将其下采样得到 $L_{0}$ ，计算 $L_{0}$ 与 $L^{t-1}$ 之间的残差 $e_{t}^{l}$ ，再将残差投影到高分辨率空间得到 $H_{1}^{t}$ ，将 $H_{1}^{t}$ 加上 $H_{0}^{t}$ 。大概的思路就是先做一次上采样和下采样，看看得到的 $L_{0}$ 与 $L^{t-1}$ 差多少，然后将这部分残差再上采样加到 $H_{0}^{t}$ 上去。这个过程相当于是一个误差修正机制，将误差放到网络中然后修改结果。

这是下采样投影单元的结构，其操作与上采样投影单元相反。

论文交替进行上采样投影和下采样投影。

密集投影单元

论文任务BN和dropout不适合SR问题。

在密集投影单元中，每一个单元的输入是前面全部单元的输出。

通过连接和卷积将前面的信息都充分利用起来。

实验细节

2倍超分辨率，卷积 $6 \times 6$ ，padding=2,stride=2。4倍超分辨率，卷积 $8 \times 8$ ，padding=2,stride=4。8倍超分辨率，卷积 $12 \times 12$ ，padding=2,stride=8。

数据集：DIV2K，Flickr，ImageNet，没有数据增强

训练细节：batch_size=20，patch_size= $32\times 32$ ，lr=1e-4，每经过 $5 \times 10^{5}$ 次迭代，就将学习率缩小十倍。一共 $10^{6}$ 次迭代。Adam，momentum=0.9，weight decay=1e-4。

Ｓ表示Ｔ=2，（Ｔ表示Ｔ个上采样投影，Ｔ－１个下采样投影）,M表示(T=4)，Ｌ表示(T=6)

D-DBPN-L表示密集连接

DBPN:Deep Back-Projection Networks For Super-Resolution相关推荐

论文翻译：2019_Speech Super Resolution Generative Adversarial Network
博客作者:凌逆战论文地址:基于GAN的音频超分辨率博客地址:https://www.cnblogs.com/LXP-Never/p/10874993.html 论文作者:Sefik Emre Es ...
论文翻译：Speech Super Resolution Generative Adversarial Network
博客作者:凌逆战论文地址:https://ieeexplore.ieee.org/document/8682215 博客地址:https://www.cnblogs.com/LXP-Never/p/ ...
CV：翻译并解读2019《A Survey of the Recent Architectures of Deep Convolutional Neural Networks》第一章~第三章
CV:翻译并解读2019<A Survey of the Recent Architectures of Deep Convolutional Neural Networks>第一章~第三 ...
paper reading：[第一代GCN] Spectral Networks and Deep Locally Connected Networks on Graphs
这篇论文发表在 2014 ICLR 会议,是第一篇研究将CNN泛化到非欧式空间的论文,老师给我的时候注明了这是"第一代GCN" . 主要贡献是将CNN泛化到非欧几里得空间,并提出两 ...
《每日论文》ImageNet Classification with Deep Convolutional Neural Networks
这篇论文是剖析 CNN 领域的经典之作,也是入门 CNN 的必读论文.作者训练了一个面向数量为 1.2 百万的高分辨率的图像数据集 ImageNet, 图像的种类为 1000 种的深度卷积神经网络. ...
AlexNet论文翻译（中英文对照版）-ImageNet Classification with Deep Convolutional Neural Networks
图像分类经典论文翻译汇总:[翻译汇总] 翻译pdf文件下载:[下载地址] 此版为中英文对照版,纯中文版请稳步:[AlexNet纯中文版] ImageNet Classification with De ...
论文翻译-基于深度残差收缩网络的故障诊断 Deep Residual Shrinkage Networks for Fault Diagnosis
深度残差收缩网络是深度残差网络的一种改进,针对的是数据中含有噪声或冗余信息的情况,将软阈值化引入深度残差网络的内部,通过消除冗余特征,增强高层特征的判别性.以下对部分论文原文进行了翻译,仅以学习为目的 ...
论文《ImageNet Classification with Deep Convolutional Neural Networks》阅读及AlexNet的Tensorflow2复现
论文<ImageNet Classification with Deep Convolutional Neural Networks>阅读及AlexNet的Tensorflow2复现论文 ...
论文研读 —— 6. ImageNet Classification with Deep Convolutional Neural Networks (1/3)
文章目录 Authors and Publishment Authors Bibtex Abstract 1. Introduction 2. The Dataset Authors and Publ ...
ImageNet Classification with Deep Convolutional Neural Networks论文翻译——中英文对照
文章作者:Tyan 博客:noahsnail.com | CSDN | 简书翻译论文汇总:https://github.com/SnailTyan/deep-learning-papers- ...

DBPN:Deep Back-Projection Networks For Super-Resolution