A2F-轻量级SISR网络 | Lightweight Single-Image Super-Resolution Network with Attentive Auxiliary Feature

SISR领域刷PSNR指标貌似已经没有出路，转而轻量级的超分辨率网络更受欢迎
论文地址：https://arxiv.org/pdf/2011.06773.pdf
Github地址：https://github.com/wxxxxxxh/A2F-SR.

分享一下之前记录的轻量级SISR网络，也方便大家比较：

1.PAN-极致参数量270k

2.OverNet-250FPS

3.Efficient SR挑战赛

Abstract：

尽管基于卷积网络的方法提高了单图像超分辨率（SISR）的性能，但巨大的计算成本限制了它们的实际适用性。在本文中，我们基于提出的用于SISR的注意力辅助特征（A2F），提出了一种计算效率高但准确的网络。首先，为了从低层探索特征，将所有先前各层的辅助特征投影到一个公共空间中。然后，为了更好地利用这些投影的辅助特征并滤除冗余信息，利用通道注意力来基于当前层特征选择最重要的共同特征。我们将这两个模块合并到一个块中，并通过轻量级网络实现它。大规模数据集上的实验结果证明了所提出模型针对最新技术（SOTA）SR方法的有效性。值得注意的是，当参数小于320k时，A2F在所有规模上都优于SOTA方法，这证明了它能够更好地利用辅助特征。

Introduction：

现有轻量级超分辨率网络的设计主要有两种：

一种是基于神经体系结构搜索。 MoreMNA-S和FALSR 采用进化算法来搜索轻量级SISR的有效模型架构。

另一种是手动设计模型。这些方法都利用了先前层的特征来更好地学习当前层的特征，这表明辅助特征可以提高轻量级模型的性能。但是，这些方法不能完全利用先前层的所有特征，因此可能会限制SISR网络的表现。

将辅助特征与当前特征直接组合在概念上是有问题的，因为不同层的特征通常嵌入在不同的空间中。因此，本文使用投影单元将辅助特征投影到适合于融合特征的公共空间。投影到公共空间后，这些投影特征可能对学习当前层的特征并非全部有用。因此，本文采用通道注意力来使模型自动将重要性分配给不同渠道。投影单元和频道注意力构成了拟议的注意力辅助特征块。我们将包含注意力辅助功能块的模型称为A2F，因为它利用了辅助特征和注意机制。

Proposed Model：

A.Motivation and Overview

作者基于一些发现：

1.要构建轻量级网络，如何减少参数和乘法运算至关重要。但是常用的减小网络深度或宽度的方法会带来性能低的问题。

2.对于网络的深度和宽度有限，特征复用是解决此问题的最佳方法。通过这种方式，低频信息可以容易地发送到下一层，并且组合多级低频特征以获得准确的高频特征更加有用。

3.作者还考虑了另一个问题，即在用于学习高频特征时，多频信息的影响应该有所不同。随着层的深度变得越来越深，提供给当前层的最后一层的有效信息变得越来越稀少，这是因为对高频特征的学习越来越困难。因此，如何结合所有先前层的信息以产生有效的结果很重要，并且应该由网络来决定。

B.Overall Architecture

整个网络结构包含：Head module，Nonlinear mapping，Tail module和Skip module组成。其中Head module，Tail module和Skip module很常见，就不再赘述。主要说一下Nonlinear mapping部分，其由4个Attentive Auxiliary Feature Block组成。

C.Attentive Auxiliary Feature Block

A2F模块的输入有[x0…xi-1]和xi-1这两个，输出由3个特征+自适应权重组合而成。整个模块可以分为上下两个分支，其中下面分支比较简单，即对上一个A2F模块输出Xi-1做conv+relu操作，并使用注意力权重+残差结构生成输出的组合特征。

重点介绍一下上面分支：
1.输入是[x0…xi-1]多层特征拼接而成的特征，使用卷积将不同层特征映射到统一空间x-proj

2.中间的Fatt是为了区别不同层特征的重要性，学习一个通道注意力权重

3.注意力权重 * x-proj得到输出特征

A2F模块中的网络结构：

Experiments：

1.Ablation Study：

2.Inference effiency:
3.部分实验结果：