Efficient SR挑战赛结果| AIM 2020 Challenge on Efficient Super-Resolution：Methods and Results

感觉这一领域已经陷入瓶颈好久了

Abstract：

本文以提出的解决方案和结果为重点，回顾了AIM 2020在高效单图像超分辨率方面的挑战。挑战性任务是基于低分辨率和相应高分辨率图像的一组先验样本，对输入图像放大x4倍数超分辨。目的是设计一种网络，该网络可以减少一个或多个方面，例如运行时间，参数量，FLOPs，激活函数个数和内存消耗，同时至少保持MSRResNet的PSNR指标。赛道有150名注册参与者，有25个团队提交了最终结果。他们以有效的单图像超分辨率来衡量最新技术。

Introduction：

本次挑战赛关注于SISR另一个研究方向，即高效SR的研究方向，这对于在资源受限的设备上部署模型至关重要。影响SR模型效率的因素有很多种，包含了运行时间、参数量、FLOPs等。对应的研究方法有：手工设计的网络结构，网络剪枝，卷积核分解，网络量化，神经体系结构搜索（NAS）和知识蒸馏等。

现有的方法主要从参数量和计算量Flops上对网络进行优化。然而，最近有关高阶视觉任务的工作指出，更少的FLOPs并不总是表明网络效率更高，而网络激活的次数反而可以更准确地衡量网络效率。因此，有效的SR方法需要从不同方面进行全面分析，而不仅仅是从参数和FLOP方面进行全面分析。因此，这项挑战旨在寻求先进和新颖的解决方案，以实现高效的SR，衡量其效率并确定总体趋势。

AIM 2020 ESR Challenge：

比赛的主要目的：
（i）推进对有效SR的研究；
（ii）比较不同方法的效率，并且
（iii）为学术界和工业界的参加者提供机会进行互动和探索合作。

数据集：DIV2K Dataset 800/100/100

baseline：本次比赛是与baseline model进行比较，在进行多个效率参数方面优化的同时，保证PSNR指标不降。baseline采用的是MSRResNet。

评估指标：运行时间、参数量、计算量FLOPs、激活函数次数以及性能表现PSNR值。在上述指标中，运行时间被认为是最重要的指标。验证和测试PSNR至少应与baseline相当。

Challenge Results：

比赛结果如上图所示，其中还将AIM2019的冠军结果IMDN放在表中进行了一起比较。可以看出，AIM2020的结果在运行时间等指标上都有了进一步的进展。

另一方面，图中可以看出，尽管404NotFound和MLVC提出的方法具有比IMDN更低的参数和FLOPs，但它们的运行时间要慢得多。为了分析这种差异，本文在表2中报告了参数数量，FLOPs数量，激活数量和最大GPU内存消耗相对于运行时间的Spearman秩相关系数（SROCC）值。

从表2中可以看出，参数的数量和FLOPs的数量与运行时间的相关性不高。相反，激活次数是更好的指标。然而请注意，参数数量和FLOP数量仍然是模型效率的重要方面。

Architectures and main ideas:

总结了本次比赛对于MSRResNet和 IMDN的改进：

1.修改IMDN的信息多重蒸馏模块(IMDB)。综合第一名获得者NJU MCG提出了一种有效的残差特征蒸馏模块（RFDB），该方法通过合并浅残差连接和增强的空间注意力（ESA）模块，使用1x1卷积进行特征蒸馏，并将通道数从64减少到50。AiRiA_CG 提出减少IMDB块并采用转换后的非对称卷积来提高效率。受IMDB和IdleBlock的启发，ZJUESR2020提出了多尺度IdleBlock

2.更改上采样模块。 XPixel并没有像MSRResNet中那样通过两个连续的“ PixelShuffle（x2）-> Conv-> Leaky ReLU”实现4的上采样倍数，而是提出用最近邻插值层替换PixelShuffle层，而其他大多数方法，诸如NJU_MCG，AiRiA_CG，HaiYun和IPCV_IITM等提议通过单个PixelShuffle（x4）层直接重建HR图像

3.采用全局特征聚合。与IMDN的局部特征聚合策略相比，NJU MCG，Haiyun，IPCV IITM和404NotFound等多个团队采用了将不同块的特征连接起来的全局特征聚合策略。作为一个典型示例，NJU MCG建议将4个RFDB块的输出进行级联，然后使用1 x 1卷积层进行特征降维，最后采用“ Conv3x3-> PixelShuffle（x4）”生成HR图像

4.使用注意力模块。 NJU MCG建议将增强的空间注意模块插入RFDB块。 Xpixel提出像素注意力以生成3D注意图。 MLVC提出了基于增强空间注意力（ESA）和具有成本效益的注意力（CEA）的多注意力模块

5.通过递归层减少参数的数量。 Zhang9678提出采用LSTM来减少参数，而InnoPeak SR提出采用递归残差块

6.应用网络剪枝。 SC-CVLAB提出了一种细粒度的通道剪枝策略，以从基于参数化的混合组成的SR网络中获得轻量级模型

7.用新的块替换MSRResNet的基本残差块。 Xpixel提出了具有像素关注度的自校准卷积块。 404NotFound提出用Ghost卷积和1 x 3卷积替换正常的3 x 3卷积。 SAMSUNG TOR AIC提出了修改后的MobileNetV3模块。

通过以上对不同解决方案的分析，我们可以得出一些结论。：

（i）所提出的方法改进了有效SR的最新技术。与AIM 2019受限SR挑战中的第一方法IMDN相比，NJU MCG团队的方法在运行时，参数，FLOP和激活方面提供了显着收益。

（ii）FLOP的数量和参数的数量与网络效率没有很好的关联。相比之下，激活次数是一个更合适的指标。

（iii）所有前六种方法都采用手工设计的网络体系结构。对于有效的SR挑战，网络修剪，知识提取，网络量化和NAS的有效性需要进一步研究。

（iv）关于高效SR的未来工作应考虑运行时间，参数，FLOP和激活。

冠军方案：NJU_MCG

1.对IMDB作出入图C的改动。2.使用RFA-NET（CVPR2020）中的ECA代替CCA

亚军方案：AiRiA_CG

主要是提出了CACB模块，使用非对称结构的卷积（ICCV2019)