【图像超分辨率】Meta-SR: A Magnification-Arbitrary Network for Super-Resolution

Meta-SR: A Magnification-Arbitrary Network for Super-Resolution

摘要
1. 介绍
2. 相关工作
- 2.1 单图像的超分辨率
- 2. 2 meta-learning
3. 方法
- 3.1. Meta-Upscale 的简单描述
- - 位置投影
  - 权重预测
  - 特征映射
- 3.2. Architecture Details of Meta-SR
4 实验
- 4.1 数据集和评估方法
- 4.2 训练细节
- 4.3 对于任意尺度的单一模型
- 4.4 推理时间
- 4.5 与 SOTA 方法的比较
- 4.6视觉效果
5 总结

摘要

由于深度卷积神经网络（DCNN）的发展，最近对超分辨率的研究取得了很大成就。然而，长期以来忽略了任意比例因子的超分辨率。以前的研究人员认为超分辨率不同比例因子作为独立任务。他们训练具体在计算中效率低的每个比例因子的模型，并且先前的工作仅考虑几个整数比例因子的超分辨率。
在这项工作中，我们提出了一种名为Meta-SR的新方法来首先解决使用单个模型超分辨任意比例因子（包括非整数比例因子）。在Meta-SR中，使用提出的Meta-Upscale 模块代替传统的上采样模块。对于任意比例因子，Meta Upscale模块通过将比例因子作为输入来动态预测上采样的过滤器的权重并使用这些权重以生成任意大小的HR图像。任何低分辨率图像，我们的Meta-SR仅使用单个模型可以持续的放大在任意尺度的图像。我们通过对单个图像上广泛使用的基准数据集的广泛实验来评估所提出的方法超分辨率。实验结果显示了我们的Meta-Upscale的优越性。总的来说，本文提出了一个 Meta-Upscale 代替传统的上采样，Meta Upscale模块通过将比例因子作为输入来动态预测上采样的过滤器的权重并使用这些权重以生成任意大小的HR图像。

1. 介绍

单图像超分辨率（SISR）旨在从低分辨率（LR）图像来重构视觉上自然的高分辨率图像。它在安全和监控成像方面有很广泛的应用[8,37]，医学成像[23]，以及卫星和航空成像[32]。在现实世界的情景，这是非常普遍和必要的SISR使用用户自定义比例因子放大LR图像。与普通图像查看器一样，用户可以通过滚动来任意放大观看的图像鼠标滚轮可查看所查看图像的本地详细信息。超分辨率的定制比例因子也可以是任何正数。它不应该固定为某些整数。因此，一种解决超分辨率任意比例因子的方法对于SISR有着更实际的用途。如果我们为每个正比例因子训练特定模型，则不可能存储所有这些模型而且计算效率低下。因此，更重要的是问题是我们能否使用单一模型去解决超分辨率任意比例因子的问题。

然而，众所周知，大多数现有的SISR方法只考虑某些整数比例因子（X2，X3，X4）的超分辨率。并且这些方法将不同比例因子的超分辨率视为独立任务。以前的工作很少讨论如何实现任意比例因子的超分辨率。至于最新的SISR方法，如ESPCNN [22]，EDSR [18]，RDN和RCAN [35]，这些方法用sup-pixel卷积[18]放大网络末端的特征图。不幸的是，这些方法必须为每个比例因子设计一个特定的上采样模块。每个上采样模块只能使用固定的整数比例因子放大图像。并且sup-pixel卷积仅适用于整数比例因子。这些缺点限制了使用SISR对现实世界的情景。虽然，我们可以通过适当地放大输入图像来实现非整数比例因子的超分辨率。然而，重复计算和升级输入使得这些方法非常耗时并且难以投入实际使用。

为了解决这些缺点并使SISR更具实用性，需要一种用单一模型超分辨任意比例因子的有效且新颖的方法。如果我们想用单个模型求解任意比例因子的超分辨率，则每个比例因子都需要一组用于上采样滤波器的权重。受meta-learn的启发，我们提出了一个网络来动态预测每个比例因子的滤波器权重。因此，我们不再需要为每个比例因子存储权重。与存储每个比例因子的权重相比，存储小权重预测网络更方便。

我们称这种方法为Meta-SR。我们的Meta-SR有两个模块，即特征学习模块和Meta-Upscale模块。使用提出的meta-upscale模块来取代传统的上采样模块。对于生成的HR图像上的每个像素（i; j），我们基于比例因子r将其投影到LR图像上。投影坐标是LR图像上的（[i/r],[j/r]）。我们的meta-upscale模块将此坐标相关和与比例相关的矢量作为输入，并预测滤波器的权重。对于所生成的SR图像上的每个像素（i; j），在LR图像上的对应投影坐标处的特征与滤波器的权重之间进行卷积运算，以在（i; j）上生成像素值。所提出的meta-upscale模块可以通过将一系列与尺度相关的和与坐标相关的矢量作为输入来动态地预测卷积滤波器的变量数量。通过这种方式，我们的meta-upscale模块可以使用单个模型放大任意比例因子的特征图。实际上，我们的Meta-Upscale模块可以通过替换典型的上采样模块，并入大多数以前的方法[36,35,18]。

我们针对单个图像超分辨率在多个基准数据集上进行了大量实验，以评估我们的方法。我们证明：

对于单整数比例因子的超分辨率，我们的Meta-SR可以获得与相应基线相当的结果，该基线为每个整数比例因子重新训练模型。请注意，我们的Meta-SR训练了一个超分辨率的模型任意比例因子在一起。
对于使用单个模型的任意比例因子的超分辨率，我们的Meta-SR优于这些基于正确放大输入图像或输出图像或在特征图上插值的方法。
我们的meta-upscale模块只包含几个完全连接的层，速度足够快。我们的Meta-Upscale的运行时间的1％由特征学习模块（RDN [36]）产生。

2. 相关工作

2.1 单图像的超分辨率

早期的SISR方法是基于范例或字典的超分辨率[3,27,25]。这些方法需要外部图像的数据库，并通过传输数据库图像中的相关补丁来生成高分辨率图像。性能受数据库或字典的大小限制。这些传统方法非常耗时且性能有限。

随着深度学习的快速发展，人们提出了许多基于深度学习的方法，Dong等人首先提出了一种三层卷积神经网络。 [4]称为SRCNN。 SRCNN在进入网络之前用双三次插值对低分辨率图像进行了升级。 Kim等人[14]增加了网络的深度并使用了残差学习来使得训练稳定。 Kim等人[15]首先介绍了对SISR的递归学习，称为DRCN。泰等人[24]通过引入具有共享参数的递归块来提出DRRN，以使训练稳定。泰等人还介绍了一个名为Memnet [25]的内存块。然而，这些网络的输入具有与最终高分辨率图像相同的尺寸，这些方法是耗时的。

Shi等人[22]首先通过提出子像素卷积层提出了实时超分辨率算法ESPCNN。 ESPCNN [22]在网络末端对图像进行了upscale，以减少计算量。 Ledig[16]引入了残差块和对抗性学习[7,6]，使生成的图像更加真实和自然。 Lim等人 [18]使用称为EDSR的更深和更广泛的剩余网络。 EDSR [18]移除了BN层并使用残余缩放来加速训练。 Lim还首先训练了多个尺度因子（X2，X3，X4）的单一模型，称为MDSR。 MDSR针对每个比例因子具有不同的图像处理块和高级模块。张等人。 [36]提出了残余密集网络（RDN），它结合了残余块的优点和密集的连接块。然后Zhang等人 [35]将剩余渠道的注意力引入了SR框架。Wang等人 [28]提出了一种新颖的深空特征变换，以恢复以分类先验为条件的纹理。 DBPN [10]和DSRN [9]都利用了低分辨率图像和高分辨率图像的相互依赖性。 DBPN利用迭代上采样和下采样层为每个阶段提供错误反馈机制。 Jo等人。 [13]介绍了用于视频超分辨率的动态上采样滤波器。动态上采样滤波器是局部地并且动态地生成的，这取决于LR帧中每个像素的时空邻域。

与此工作不同，我们的Meta-Upscale模块根据SISR的变化比例因子预测了卷积核的权重。此外，我们的Meta-Upscale可以生成变量数，并且卷积内核的变量权重取决于比例因子。我们的meta-upscale模块的输入不是使用时空特征块，而是与尺度相关且与坐标相关的矢量。而且，我们的Meta-Upscale提出模块来解决任意尺度。

2. 2 meta-learning

元学习或学习-学习是观察不同机器学习方法如何在广泛的学习任务中执行，然后从这种经验或元数据中学习的科学。元学习主要用于less-shot/zero-shot学习[1,21]和转移学习[29]。元学习的详细调查可以在[17]中找到。这里我们只讨论与权重预测相关的工作。

权重预测是神经网络中的元学习策略之一[17]。神经网络的权重由另一个神经网络预测，而不是直接从训练数据集中学习。Cai等人[2]预测分类器的参数W适应新的类别而没有反向传播用于less-shot学习。根据支持集的记忆来预测参数。在物体检测任务中，胡等人 [11]提出从box重量预测mask重量。杨等人[31]提出了一种新颖灵活的物体检测锚定机制。可以从任意定制的先前框动态生成锚函数。在视频超级分辨率中，Jo等人。 [13]提出了一种动态上采样滤波器。动态上采样滤波器是局部地并且动态地生成的，这取决于多个LR帧中的每个像素的时空邻域。与此工作不同，我们利用元学习来预测每个比例因子的滤波器权重。我们不再需要为每个比例因子存储滤波器的权重。我们的Meta-SR可以训练单个模型以实现任意比例的超分辨率。它实用方便，高效。

最相关的工作是参数化图像操作器[5]，它利用权重预测来动态调整图像操作的深度网络权重（图像过滤或图像恢复）。与此项工作不同，我们的Meta-SR侧重于通过将坐标和比例因子作为输入来重新构建upscale模块。

3. 方法

在本节中，我们将描述所提出的模型体系结构。如图1所示。在我们的Meta-SR中，特征学习模块提取低分辨率图像的特征，而Meta-Upscale模块则使用任意比例因子对特征图进行upscale。我们首先介绍我们的Meta Upscale，然后我们描述了它的架构细节。

图1.基于RDN的Meta-SR实例[36]。我们还称网络为Meta-RDN。（a）由RDN [36]提出的残差密集区块。（b）特征学习模块，它为任意比例因子生成共享特征映射。（c）对于每个像素SR图像，我们将其投影到LR图像上。建议的Meta Upscale模块采用一系列与坐标相关且与尺度相关的模块矢量作为输入来预测卷积滤波器的权重。通过进行卷积运算，我们的Meta-Upscale最终生成了HR图像。

3.1. Meta-Upscale 的简单描述

给定从相应的原始HR图像IHR缩小的LR图像ILR，SISR的任务是生成其ground truth为IHR的HR图像ISR。我们选择RDN [36]作为我们的特色学习模块。如图1（b）所示。在这里，我们专注于描述 Meta Upscale模块。

设FLR表示特征学习模块提取的特征。假设比例因子是r。对于SR图像上的每个像素（i; j），我们认为它是由LR图像上的像素（i’; j’）的特征和相应滤波器的权重决定的。从这个角度来看，upscale模块可以看作映射ISR和FLR的映射函数。首先，高级模块应将像素（i; j）映射到像素（i’; j’）。然后，高级模块需要特定的滤波器来映射像素的特征（i’; j’）以生成该像素（i; j）的值。我们将upscale模块制定为：

其中ISR（i; j）表示SR图像上（i; j）处的像素值。 FLR（i’; j’）表示LR图像上的像素（i’; j’）的特征。 W（i; j）是像素（i; j）的滤波器的权重。 Φ（:)是用于计算像素的特征映射函数值。

总结：r: 网络放大的比例因子（ i，j）: SR 图像上的像素（i’，j’）: LR图像上的像素

由于SR图像上的每个像素对应于滤波器。对于不同的比例因子，滤波器的数量和滤波器的权重都与其他比例因子不同。为了用单个模型求解任意比例因子的超分辨率，我们提出Meta Upscale模块基于比例因子和坐标信息动态预测权重W（i; j）。

对于Meta-Upscale模块，有三个重要功能。即，位置投影，权重预测和特征映射。如图2所示。位置投影将像素投影到LR图像上。并且权重预测模块预测SR图像上的每个像素的滤波器的权重。最后，特征映射功能将LR图像上的特征映射到预测的权重回到SR图像来计算像素的值。

位置投影

对于SR图像上的每个像素（i; j），位置投影是在LR图像上找到（i’; j’）。我们认为像素（i; j）的值由LR图像上的（i’; j’）的特征决定。我们使用以下投影运算符来映射这两个像素：

其中T是转换函数。 [ ]是向下取整功能。

位置投影可以看作是一种可变分数步幅[19]机制，它可以用任意比例因子放大特征图。如图2所示，如果比例因子r是2，则每个像素（i’; j’）确定两个点。但是，如果比例因子是非整数，例如r = 1.5，则一些像素确定两个像素，一些像素确定一个像素。对于SR图像上的每个像素（i; j），我们可以在LR图像上找到一个独特的像素（i’; j’），我们认为这两个像素最相关。

用非整数采样因子r = 1.5来高档特征映射的示意图。在这里，我们只显示了一维案例以简化。

权重预测

对于典型的upscale模块，它预定义每个比例因子的过滤器数量，并从训练数据集中学习W. 与典型的upscale模块不同，我们的Meta-Upscale模块使用网络来预测过滤器的权重。我们可以将权重预测表示为：

其中W（i; j）是SR图像上像素（i; j）的滤波器权重，vij是与i相关的矢量;Ø（.）是权重预测网络，并将vij作为输入。 θ是权重预测网络的参数。

至于像素（i; j）为Ø（.）的输入，正确的选择是对（i’; j’）的相对偏移，可以制定vij 如：

为了将多个比例因子一起训练，最好将比例因子添加到vij中以区分不同比例因子的权重。例如，如果我们想要使用比例因子2和4来放大图像，我们将它们分别表示为ISR 2和ISR4。 ISR 2上的像素（i; j）将具有与ISR4上的像素（2i; 2j）相同的滤波器权重和相同的投影坐标。那意味着ISR 2是I4SR的子图像。这会限制性能。因此，我们将vij重新定义为：

特征映射

我们从FLR中提取LR图像上的（i’; j’）特征。我们用权重预测网络预测滤波器的权重。我们需要做的最后一件事是将特征映射到SR图像上的像素值。我们选择矩阵乘积作为特征映射函数。我们将Φ（:)表示为：

3.2. Architecture Details of Meta-SR

我们的Meta-SR网络中有两个模块，即功能学习模块和meta-upscale模块。大多数最先进的方法[22,36,18,16,34]可以被选为我们的特征学习模块。通过简单地替换传统的高级模块（子像素卷积[22]），可以将建议的meta-upscale模块应用于这些网络。我们选择最先进的SISR网络，称为残余密集网络（RDN [36]）作为我们的特征学习模块。请注意，我们的Meta-SR也可以与EDSR或MDSR [18]或RCAN [35]一起使用。对于RDN [36]，有3个卷积层和16个残余密集块（RDB）。每个RDB有8个卷积层。密集块的增长率为64.提取的特征映射具有64个通道。详细结构如图1所示。更多细节可以在RDN [36]中找到.

对于Meta-Upscale模块，它由几个完全连接的层和几个激活层组成。每个输入将输出一组具有形状的权重（inC; outC; k; k）。这里inC是提取的特征图的通道数，而文中的inC = 64。 outC是预测的HR图像的通道数。通常，对于彩色图像，outC = 3，对于灰度图像，outC = 1。 k表示卷积核的大小.

这里我们要描述所提出的meta-upscale模块的参数，包括隐藏神经元的数量，完全连接层的数量，激活函数的选择和卷积层的内核大小。由于输出大小（k2×inC×outC）与输入大小（3）相比非常大，我们将隐藏神经元的数量设置为256.继续增加隐藏神经元的数量没有任何改善。激活功能是ReLU。我们进行实验，发现完全连接层的最佳数量是2，速度和性能的平衡。至于内核大小，3×3是最好的大小。在大特征映射上进行5×5卷积运算更耗时。

4 实验

4.1 数据集和评估方法

在NTIRE 2017单图像超分辨率挑战中，新发布了高质量的数据集DIV2K [26]。 DIV2K数据库中有1000个图像，800个图像用于训练，100个图像用于验证，100个图像用于测试。我们所有的模型都使用DIV2K训练图像集进行训练。为了测试，我们使用四个标准基准标记数据集：Set14 [33]，B100 [20]，Manga109 [12]和DIV2K [26]。请注意，DIV2K测试集的基本事实不公开。因此，我们在DIV2K验证集上报告结果。使用PSNR和SSIM评估超分辨率结果[30]。按照[36]中的设置，我们只考虑PSNR和SSIM [30]在转换的YCbCr颜色空间的Y通道上。至于产生低分辨率图像的降解方法，在[18,36]之后，我们使用双三次方通过采用Matlab函数进行插值模拟LR图像。

4.2 训练细节

在单图像超分辨率中，传统的损耗函数是L2损失。在设置[18]之后，我们使用L1损失而不是L2来训练我们的网络以获得更好的收敛。在训练网络期间，我们随机提取大小为50 * 50的16 LR RGB patch作为批量输入。按照[36]中的设置，我们通过水平或垂直翻转并旋转90°随机增加补丁。Adam是优化器。所有层的学习速率初始化为10-4，每200个时期减少一半。所有实验在4个GPU上并行运行。Meta-SR的训练量表因子从1到4变化，步幅为0.1，比例因子的分布是均匀的。批次中的每个patch图像具有相同的比例因子。我们的Meta-SR从头开始使用Meta-Upscale模块进行培训。

表1.不同方法的任意upscale结果。EDSR基于残余块。RDN基于密集连接块。测试数据集是B100 [20]。最佳结果是黑色。

4.3 对于任意尺度的单一模型

由于之前没有一种方法专注于使用单一模型对任意比例因子的超分辨率，我们需要设计几个基线。我们将我们的方法与这些基线进行比较，以证明Meta-SR的优越性。

假设我们想要用尺度r∈（1,4）放大LR图像。在我们将其馈入网络之前，我们可以用双三次插值对它进行放大。因此，第一个基线简单地用双三次插值将LR图像放大为最终的HR图像，称为双三次基线。第二种方法首先将LR图像放大r次，然后将其输入CNN以生成最终的HR图像，分别称为EDSR（x1）和RDN（x1）。这两种方法非常耗时且难以投入实际使用。

第三个基线缩小生成的HR图像。假设有一个网络G实现k次upscale，因此，我们可以将LR图像输入到网络G中以生成HR图像。然后我们用比例因子r k缩小HR图像以预测最终结果。如果k = 2，我们分别称它们为RDN（x2）和EDSR（x2）。对于比例r> k，我们必须在将LR图像馈送到网络之前将其放大。如果k = 4，那么它是第四个基线。我们分别称它们为RDN（x4）和EDSR（x4）。

为了证明权重预测和位置投影的优越性，我们设计了第五个基线（BiConv）：我们使用插值来放大最终的特征图，upscale模块是所有比例因子的固定卷积层。第六个基线（Meta-Bi）将特征图插值到所需的大小。我们使用权重预测网络来预测每个比例因子的卷积滤波器的权重。我们一起训练所有这些模型的任意比例因子。

实验结果如表1所示。对于双三次插值基线，简单地用双三次插值放大LR图像不能向HR图像引入任何纹理或细节。它的性能非常有限。对于RDN（x1）和EDSR（x1），它在大规模因子上具有低性能。升级后的输入使其耗时。对于RDN（x4）和EDSR（x4），我们的Meta-RDN和RDN（x4）（或Meta-EDSR和EDSR（x4））之间的性能差异很大，因为比例因子接近1.此外，EDSR（x4）并且当标度r> k时，RDN（x4）还必须在将LR图像馈送到网络之前对其进行放大。

由于权重预测，Meta-Bi和我们的Meta-SR都可以为每个比例因子学习过滤器的最佳权重，而BiConv对所有比例因子共享相同的过滤器权重。实验结果表明，Meta-Bi明显优于BiConv，证明了权重预测模块的优越性。与此同时，我们的Meta-RDN也优于MetaBi。对于特征图上的插值，比例因子越大，有效的视图视图（FOV）越小。但是，每个比例因子在我们的MetaSR方法中具有相同的FOV。受益于提议的Meta-Upscale，我们的Meta-RDN几乎可以在所有比例因子上实现比其他基线更好的性能。

4.4 推理时间

SISR是低级图像处理任务，具有很高的实际应用价值。在实际场景中，时间要求对SISR非常重要和严格。我们使用带有Intel Xeon E5-2670v3@2.30GHz的Tesla P40测量计算效率。我们选择B100 [20]作为测试数据集。在这里，我们不考虑图像预处理时间。我们进行实验来计算Meta-SR和基线中每个模块的运行时间。如图2所示.与特征学习模块相比，我们的重量预测模块的运行时间可以忽略不计。因为我们的Meta-Upscale模块中只有两个完全连接的层。

虽然当我们与基线RDN（x1），RDN（x2）和RDN（x4）在比例r = 2上进行比较时，我们的Meta-SR在单一尺度上的计算效率没有优势。如果我们将比例因子增加到8或16，我们的Meta-SR比这些基线耗时少。此外，如果我们想要使用不同的比例因子（如普通图像查看器）连续放大相同的图像，我们的Meta-SR是最快的。由于我们的Meta-SR方法只需要为每个比例因子运行Meta-Upscale模块。RDN（x1）和RDN（x2）必须首先放大输入图像。然后，他们将每个比例因子的放大图像提供给整个网络。因此，我们声称我们的Meta-RDN比这些基线更有效并且具有更好的性能。

4.5 与 SOTA 方法的比较

我们将提出的meta-upscale模块应用到RDN 上，来替代典型的upscale 模块。我们使用随机比例因子r∈（1,4）在DIV2K训练图像上训练我们的Meta-RDN。我们将Meta-RDN与相应的基线RDN进行比较[36]。为了公平比较，我们还尝试微调我们的MetaRDN。然而，对每个单个整数比例因子进行微调对最终性能的改善很少.RDN重新训练了每个比例因子的模型，使用不同的高级模块，包括X2，X3，X4。我们测试我们的Meta-RDN在四个不同的基准测试中具有PSNR和SSIM指标。

如表3所示，与相应的基线RDN相比，Meta-RDN实现了可比较甚至更好的结果[36]。由于提出的Meta-Upscale可以动态预测每个尺度的滤波器权重，由于权重预测，我们可以训练单个模型的多个比例因子，并在任意比例因子很好地工作。此外，我们的Meta-SR网络只需要保存一个模型进行测试，但典型的模型需要sav几个型号。我们的Meta-SR网络对于多个比例因子的SR更有效。

4.6视觉效果

在本节中，我们将在图3和图4中显示视觉结果。如图4所示，我们将RDN（x1），RDN（x2）和RDN（x4）与任意比例因子的超分辨率进行比较。我们的Meta-SR在结构部件方面具有更好的性能。由于RDN（x1），RDN（x2）和RDN（x4）对所有比例因子的滤波器权重相同，因此这些基线方法生成的SR图像的纹理比我们的Meta-RDN差。由于权重预测，我们的Meta-SR可以为每个比例因子预测一组独立权重。

5 总结

我们提出了一个名为MetaUpscale的新型高级模块，用单个模型解决任意比例因子的超分辨率。建议的meta-upscale档模块可以动态预测滤波器的权重。对于每个比例因子，建议的Meta-Upscale模块为高级模块生成一组权重。通过在特征图和滤波器之间进行卷积运算，我们生成任意大小的HR图像。由于权重预测，我们可以训练单个模型用于任意比例因子的超分辨率。特别是，我们的Meta-SR可以使用多个比例因子连续放大相同的图像。