ECCV2020Workshop-PAN-270k参数量SISR网络 | Efficient Image Super-Resolution Using Pixel Attention

只说了参数量却没有比较速度，此外PA应用在大的网络中会降低性能！
论文地址：https://arxiv.org/pdf/2010.01073.pdf
Github地址：https://github.com/zhaohengyuan1/PAN

Abstract：

这项工作旨在设计一种用于图像超分辨率（SR）的轻量级卷积神经网络。在不考虑简单性的情况下，我们使用新提出的像素注意力方案构建了一个非常简洁有效的网络。像素注意力（PA）类似于公式中的通道注意力和空间注意力。不同之处在于，PA生成3D注意力图而不是1D注意力矢量或2D图。该注意力策略引入了较少的附加参数，但生成了更好的SR结果。在PA的基础上，我们分别为主分支和重建分支提出了两个构造块。第一个-SC-PA块的结构与自校准卷积相同，但具有我们的PA层。由于其双分支架构和注意力方案，该模块块比常规的残差/密集块效率更高。而第二个-UPA块结合了最近邻上采样，卷积和PA层。它以很少的参数成本提升了最终的重建质量。我们的最终模型PAN可以达到与轻量级网络SRResNet和CARN相似的性能，但是参数只有272K（SRResNet的17.92％和CARN的17.09％）。每个提出组件的有效性也通过消融研究得到验证。

PAN：

主要在main分支提出了SC-PA模块（SC+PA）和重建分支的U-PA块。SC是SCNet中的自校准卷积https://blog.csdn.net/weixin_42096202/article/details/105876498，PA就是H X W X C维度的注意力权重，其他网络早已经提出并使用了。

Pixel Attention Scheme(PA):

与通道/空间注意力机制的区别就是：
1.通道注意力生成1x1xC维度的注意力权重
2.空间注意力生成hxwx1维度的注意力权重
3.像素注意力生成hxwxc维度的注意力权重
网络结构也非常简单，就是1x1卷积+sigmoid激活函数。

SC-PA Block：

与SCNet中的SCConv有区别，对输入xn-1先使用两个1x1卷积进行分离，然后经过两个分支进行特征提取拼接。其中上分支使用带PA的网络结构。

U-PA Block：

结构比较简单，采用NN+Conv+PA+Conv结构，其中NN是最近邻上采样。

在以前的SR网络中，重构模块基本上由上采样和卷积层组成。而且，很少有研究者调查过上采样阶段的注意力机制。因此，在这项工作中，作者在重建模块中采用了PA层。实验表明，引入PA可以显着提高最终性能，而参数成本却很少。此外，本文还使用最近邻插值层作为上采样层以进一步节省参数。

Experiments：

1. Ablation Study：

A. CA/SA/PA比较

B. RB-PA/SC-PA比较
C. PA带来增益

2.VS SOTA：

3.应用于大网络，效果会降低