Wide Activation for Efficient and Accurate Image Super-Resolution

Jiahui Yu,Yuchen Fan,Jianchao Yang,Ning Xu,Zhaowen Wang,Xinchao Wang,Thomas Huang

本文是NTRIE2018年超分辨率比赛的冠军。

主要贡献

论文提出在激活函数前with expand feature可以使更多信息通过，提升网络性能，基于此提出WDSR-A。
论文使用linear low-rank convolution作为基本的模块，提出WDSR-B。
论文发现weight norｍalization对SR问题有改进。

WDSR-A

论文发现如果直接增加激活函数前的通道数，在不引入更多参数的情况下，对网络性能的提升没有任何作用。于是论文为了保证复杂度不上升，同时还加宽激活函数前的通道数，提出了一种先使通道数变窄再加宽的方法，提出了WDSR-A。

WDSR-A的残差块结构如中间的图，和左边的图RB比较，可以看出它把第一个卷积层变窄，而把激活函数前面的卷积层变宽了。假设第一个卷积层的宽度为 $w_{1}$ ，激活函数前的卷积层宽度为 $w_{2}$ ，在RB中 $w_{1}=w_{2}$ ，在WDSR-A RB中使 $w_{2}=r \times w_{1}$ ，RB的计算复杂度： $2 \times w_{1}^{2} \times k^{2}$ ，WDSR-A RB的复杂度是 $2\times w_{1}^{wdsr-a}\times r \times w_{1}^{wdsr-a} \times k^{2}$ ，为了保证二者复杂度一致，使 $w_{1}^{wdsr-a}=\frac{1}{\sqrt{(r)}}w_{1}$ 。

实验表明，在超分辨率的时候，r在２－４之间效果最好，如果r再继续变大，会导致第一个卷积层的通道数过低，造成效果不好。于是论文提出了WDSR-B。

WDSR-B

为了解决上述问题，论文保持残差块的第一个卷积层通道数不变，论文提出的WDSR-B利用 $1 \times 1$ 的卷积层来扩大通道数和缩小通道。与此同时，论文提出了linear low-rank convolution，即将一个宽的卷积层用两个low-rank卷积层来表示。如上图中的右图，激活函数后面的第一个 $1 \times 1$ 卷积层用来减少通道数， $3 \times 3$ 的卷积层用于spatial-wise 特征提取。

Weight Normalization

首先论文提出BN的三个问题：

在超分辨率问题中，通常输入数据patch较小，batch也较小，这些batch的均值和方差差异较大，使用BN会造成网络不稳定。
BN可以看做是一个正则化，但是SR问题很少会发生过拟合的现象，正则化并不适用于SR。
在训练和测试的时候，BN的处理是不同的，这可能会降低模型的效率。

论文提出的WN(Weight Normalization)是对参数的一种将参数向量的长度和方向分离的再参数化（基于前人的WN的研究：权重的方向和长度的分离可以加速网络收敛过程。），即

$w = \frac{g}{\left \| v \right \|}v$

其中v是跟w同一空间的向量，g是标量， $\left \| v\right \|$ 是向量的欧式范数。

网络结构

相比于EDSR的网络结构，论文做了两点改进。

论文认为EDSR的残差body后的卷积层是冗余的而且耗计算量，论文用一个 $5 \times 5$ 的卷积层替换掉它们，减少了计算量，同时在实验中也发现这不会影响网络的性能。
论文发现现有的方法都会在上采样之后还有卷积层，即利用上采样之后的特征，而论文直接利用低分辨率图像的信息，舍弃上采样后的信息，实验证明这不仅不会降低网络性能反而提高网络性能。

实验结果

数据集：DIV2K，800训练，10个验证，100个测试

实验细节：RGB通道计算psnr，Adam， $\beta _{1}=0.9,\beta_{2}=0.999,\varepsilon =10^{-8}$ ， $batch\,size=16$ ，有WN的学习率是 $10^{-3}$ ，没有WN的学习率是 $10^{-4}$ ，每 $2 \times 10^{5}$ 次迭代，学习率减半。 $patch\,size=96\times 96$ ，LR是HRbicubic下采样得到的，训练时随机翻转和旋转数据，训练时，所有的数据均减去了均值。

WDSR:Wide Activation for Efficient and Accurate Image Super-Resolution相关推荐

EAST: An Efficient and Accurate Scene Text Detector
EAST: An Efficient and Accurate Scene Text Detector EAST:高效准确的场景文本检测器 [Abstract] 先前的场景文本检测方法已经在各种基准测 ...
【翻译】EAST: An Efficient and Accurate Scene Text Detector
EAST: An Efficient and Accurate Scene Text Detector 论文地址概要以前的场景文本检测方法已经在各种基准上取得了有希望的表现.然而,即使配备深层神经 ...
EAST: An Efficient and Accurate Scene Text Detector（自然场景下文本识别）训练，测试
首先介绍一下我的环境配置,ubuntu16.04+cuda9.0,cudnn7.0,tensorflow-gpu=1.8 简介其实对这个不是很有研究的,只是要参加一个阿里天池的比赛,然后用这个跑了一 ...
[论文阅读]PAN++: Towards Efficient and Accurate End-to-End Spotting of Arbitrarily-Shaped Text
PAN++ 支持任意形状文本的高效和精确的端到端探查摘要在过去的几年中,场景文本检测和识别得到了很好的研究.尽管取得了进展,但高效.准确地端到端识别任意形状的文本仍然具有挑战性.在这项工作中,我们 ...
粗读论文：An Efficient and Accurate Algorithm for the Perspecitve-n-PointProblem
序:我是一个普通的战五渣级别大四工科生,这篇文章的阅读源于我做的毕业设计,因为在阅读过程中感到非常困难的同时CSDN上面还没有什么好的帮助文献.以至于令我这个面向CSDN&&博客园的选 ...
这可能是目前最好的图像超分辨率算法，刚刚开源了
(欢迎关注"我爱计算机视觉"公众号,一个有价值有深度的公众号~) CVPR 2018 Workshop NTIRE2018图像超分辨率的优胜方案开源了! 该算法在NTIRE2018 ...
Google 超分辨率技术 RAISR：模糊图片瞬间变清晰，运算速度快十倍
Google 超分辨率技术 RAISR:模糊图片瞬间变清晰,运算速度快十倍 Everyday the web is used to share and store millions of pictur ...
Google 超分辨率技术 RAISR
Google 超分辨率技术 RAISR:模糊图片瞬间变清晰,运算速度快十倍 Everyday the web is used to share and store millions of pictur ...
分辨率极限-时间分辨率+空间分辨率和图像超分辨重建技术
计算机视觉工作者们,总是希望能"看清"繁华世界的每个像素点,但是却发现分辨率的极限,是他们绕不过去的坎.今天就来和大家聊一聊分辨率以及超分辨图像重建参考:https://mp.w ...
重磅 | 消灭所有马赛克，谷歌宣布机器学习图像锐化工具RAISR
选自Google Research 机器之心编译参与:机器之心编译组在今天的 Google Research 博客中,谷歌介绍了一种能够从低分辨率图像中生成高质量图像的技术 RAISR.相关技术论 ...

WDSR:Wide Activation for Efficient and Accurate Image Super-Resolution