【图像超分辨率】Image Super-Resolution by Neural Texture Transfer

Image Super-Resolution by Neural Texture Transfer

摘要：
1.引言
2 相关工作
- 2.1 基于深度学习的SISR
- 2.2基于参考的超分辨率
3. 方法
- 3.1特征交换
- 3.2神经纹理传递
- 3.3 训练目标
- - 3.3.1重建损失
  - 3.3.2感知损失
  - 3.3.3对抗性损失
- 3.4 实施细节
4.数据集
5.实验结果
- 5.1定量评价
- 5.2用户研究的定性评价
- 5.3消融研究
- - 5.3.1参考相似性的影响
  - 5.3.2 特征交换层
  - 5.3.3纹理损失的影响
6.结论

摘要：

低分辨率（LR）图像存在显著的信息损失，单图像超分辨率（SISR）技术实现提升困难。
基于参照的超分辨率（RefSR）在给了与 LR 输入有相似内容的参照（Ref）图像时有很好的恢复高分辨率（HR）细节的潜力。但是，当 Ref 的相似程度更低时，RefSR 的性能会严重下降。这

论文的目标是释放 RefSR 的潜力，即使提供了不相关的 Ref 图像，仍能利用有更强稳健性的 Ref 图像的更多纹理细节。受近期在图像风格化方面的研究的启发，将 RefSR 问题形式化为了神经纹理迁移问题。

我们设计了一种端到端的深度模型，能够根据与 Ref 图像的纹理相似性自适应地迁移 Ref 图像的纹理，从而丰富 HR 细节。除了像之前的工作那样在原始像素空间中匹配内容，我们的关键贡献是在神经空间中执行的多层面匹配。

这种匹配方案有助于多尺度神经迁移，能让模型从那些形义相关的Ref 图块中获得更多好处，并在最不相关的 Ref 输入上优雅地降级到SISR性能。

为 RefSR 的一般性研究构建了一个基准数据集，其中包含与LR 输入配对的有不同层面相似度的 Ref 图像。

1.引言

由于 SISR 问题不适定的本质，大多数已有方法在上采样倍数较大（比如4 倍）时仍然会得到模糊的结果，尤其是当涉及到原始 HR 图像中呈现出的但对应的 LR 图像中不具备的精细纹理时。

近年来，与感知有关的约束（比如感知损失和对抗损失）已被引入到了 SISR问题的数学构建中，并为大倍数上采样的视觉质量带来了重大突破。但是，它们往往会产生幻觉式的假纹理，甚至会产生伪影。

不同于传统 SISR，本论文探索了基于参照的超分辨率（RefSR）。RefSR 是利用来自 HR 参照图像（Ref）的丰富纹理来补充 LR 图像中缺失的细节，从而缓解不适定问题并在参照图像的帮助下得到细节更丰富和更有真实感的纹理。

已有的 RefSR 方法是采用内部示例（self-example）或外部高频信息来增强纹理。但是，这些方法都假设参照图像与 LR 图像有相似的内容和/或有良好的对齐。否则，它们的表现会有显著的下降，甚至会比SISR 方法更差。

相对而言，Ref 图像在我们的设定中则发挥着不同的作用：无需与 LR 图像有良好的对齐或相似的内容。我们只希望将形义相关的纹理从 Ref 图像迁移到输出的 SR 图像。理想情况下，在存在良好的 Ref 图像时，稳健的RefSR 算法应当优于 SISR，并且在没有提供 Ref 图像或完全不含相关纹理时也能得到与 SISR 相当的表现。

受近期图像风格化研究的启发，我们提出了一种新的 RefSR 算法 Super Resolution by Neural Texture Transfer（神经纹理迁移超分辨率/SRNTT），能够自适应地将纹理从Ref 图像迁移到 SR图像。

更具体而言，**SRNTT 会通过一个深度模型在特征空间中执行局部特征匹配以及将匹配的纹理迁移到最终输出。这个纹理迁移模型会学习 LR 和 Ref 纹理之间的复杂的依赖关系，能够在抑制不相似纹理的同时利用相似的纹理。**图 1 中的示例展示了我们提出的 SRNTT 相比于两种之前最佳研究（SRGAN（SISR 方向）和 CrossNet（RefSR 方向））的优势。如果使用的参照图像有相似的内容（即图 1(a) 上），则 SRNTT 在合成更精细纹理方面显著优于相比较的其它方法。即使使用的 Ref 图像的内容无关（即图 1(a) 下），SRNTT 的表现也与 SRGAN 相当（视觉质量相近，但伪影更少），这体现了 SRNTT 在使用不同程度内容相似性的不同 Ref 图像时的适应性/稳健性。相对而言，CrossNet 会从无关的 Ref 图像引入我们不想要的纹理，表现很糟糕。

图 1：SRNTT（我们的方法）与 SRGAN（当前最佳的 SISR 方法）和CrossNet（当前最佳的 RefSR 方法）的比较。（a）两张 Ref 图像。其中上图（U）与 LR 输入（b）的右下角有相似的内容，下图（L）与 LR 输入区别明显或内容不相关。（c）SRGAN 的结果。(d)(e)CrossNet分别使用两张 Ref 图像得到的结果。(f)(g) SRNTT 分别使用两张Ref 图像得到的结果。

为了比较公平以及帮助推动对一般性 RefSR问题的研究，我们提出了一个新的数据集 CUFED5，其中提供了训练集和测试集，并有在内容、纹理、颜色、光照条件、视角等方面不同相似度的参照。本论文的主要贡献如下：

我们探索了更一般的 RefSR 问题，突破了 SISR 的性能瓶颈（即缺乏纹理细节）并放宽了已有 RefSR 方法的约束（即对齐假设）。
我们为 RefSR 问题提出了一种端到端的深度模型 SRNTT，可通过多尺度神经纹理迁移基于任意给定参照恢复 LR图像。
我们通过广泛的实证研究展示了新提出 SRNTT 在视觉上的提升、有效性和适应性。我们构建了一个基准数据集 CUFED5，可促进RefSR 方法在处理与 LR 输入图像有不同程度相似性的参照方面的进一步研究和性能评估。

2 相关工作

2.1 基于深度学习的SISR

SISR方法旨在最小化SR和HR图像之间的MSE，这可能并不总是与人类的评价（即感知质量）一致[24，30]。因此，为了获得更好的视觉质量，将知觉相关的限制因素纳入其中。Johnson等人。[20] 证明了使用VGG增加知觉损失的有效性[32]。Ledig等人。[24]引入了来自生成性对抗网（GANs）的对抗性损失[11]以最小化SR图像和HR图像之间的感知相关距离。Sajjadi等人。[30]基于样式传输的思想[9，10]进一步合并纹理匹配损失，以增强SR图像中的纹理。所提出的SRNTT与[24，30]的关系更为密切，在[24，30]中，知觉相关的限制（即知觉丧失和对抗性丧失）被结合在一起，以恢复更具视觉合理性的SR图像。

2.2基于参考的超分辨率

与仅使用单个LR图像作为输入的SISR相比，RefSR方法引入额外的图像来辅助SR处理。通常，参考图像需要具有与LR图像相似的纹理和/或内容结构。Yue等人提出了一种更通用的利用参考文献的方案。[39]，它可以立即从web上检索相似的图像，并进行全局注册和局部匹配。然而，他们做了一个强有力的假设-参考必须与LR图像很好地对齐。此外，用于面片混合的浅层模型使其性能高度依赖于引用的对齐程度。郑等人。[41]提出了一种基于深度模型的RefSR方法，并采用光流来对齐输入和参考。

然而，光流在匹配长距离通信中受到限制，因此无法处理严重失调的参考。提出的SRNTT采用了局部纹理（补丁）匹配的思想，能够处理长距离的相关性。与现有的REFSR方法一样，我们也将REF纹理融合到输出席上，但是我们通过深度模型在多尺度特征空间中进行，这使得学习具有缩放、旋转、甚至非刚性变形的引用的复杂传递过程。

3. 方法

我们提出的 SRNTT 的目标是：
给定参照图像，根据低分辨率图像估计得到更高分辨率的图像，使得到的超分辨率图像能根据参照图像合成可信的纹理，同时在内容上保持与低分辨率图像一致。

图2 给出了 SRNTT的概况。
其中的主要思想是在特征空间中搜索与参照图像匹配的特征，然后以多尺度的方式将匹配的特征迁移到超分辨率图像，因为特征在面对颜色和光照条件变化时更为稳健。这种多尺度纹理迁移能同时考虑低分辨率图像和参照图像在形义（高层面）和纹理（低层面）上的相似性，从而能在抑制不相关纹理的同时迁移相关的纹理。

图2：提出的基于特征交换和纹理迁移的SRNTT架构

除了和之前的 SR 方法一样最小化输出的超分辨率图像和原始高分辨率图像之间的像素和/或感知距离，我们还会进一步规范在超分辨率图像和参照图像的匹配纹理之间的纹理一致性，从而强制实现有效的纹理迁移。最终输出的超分辨率图像是以端到端形式得到的。

3.1特征交换

我们首先进行特征交换，在整个IRef中搜索可用于替换（或交换）ILR的纹理特征以增强SR恢复的局部相似纹理。特征搜索在HR空间坐标中进行，以使纹理直接传输到最终输出ISR。

根据自示例匹配策略[7]，我们首先对ILR进行双三次上采样，得到与IHR具有相同空间大小的LR图像ILR 。我们还依次对IRef采用相同因子的双三次下采样和上采样，得到与ILR上采样频带匹配的模糊参考图像上采样和下采样IRef。

我们不需要估计全局变换或光流，而是匹配上采样的ILR和上采样下采样的IRef中的局部补丁，这样就不会对Ref图像的全局结构产生约束，这是相对于CrossNet的一个关键优势[41]。由于LR和Ref块在颜色和光照上也可能不同，我们在神经特征空间φ（I）中匹配它们的相似性，以强调结构和纹理信息。我们使用内积来度量神经特征之间的相似性：

其中Pi（·）表示从神经特征图中采样第i个面片，si，j表示第i个LR面片和第j个Ref面片之间的相似性。Ref-patch特性被规范化以选择所有j上的最佳匹配。相似性计算可以有效地实现为对所有LR-patch的一组卷积（或相关）操作，每个内核对应一个Ref-patch：

其中Sj是j-th Ref面片的相似图，*表示相关运算。我们使用Sj（x，y）来表示以位置（x，y）为中心的LR面片和第j参考面片之间的相似性。LR和Ref块都是从它们的图像中密集采样的。基于相似度得分，我们可以构造一个交换的特征映射M来表示纹理增强的LR图像。以（x，y）为中心的M中的每个面片定义为：

其中ω（·，·）将面片中心映射到面片索引。注意，当IRef用于匹配（等式2）时，raw Ref IRef用于交换（等式3），以便保留来自原始引用的HR信息。由于LR斑块的密集抽样，我们取它们重叠区域的交换特征Pj∗（φ（IRef））的平均值。结果交换的特征映射M用作下一个纹理传输阶段的基础。

3.2神经纹理传递

我们的纹理传输模型是通过将多个交换的纹理特征映射合并到对应于不同尺度的不同特征层的基本深度生成网络中来设计的，如图2所示（蓝色框）。对于每个尺度或神经层l，使用上述方法构造交换特征映射Ml，纹理特征编码器φl与当前尺度匹配。第5.3节中的烧蚀研究证实了多层转移纹理的有效性。

我们使用剩余块和跳过连接[14，15，24]来构建基本生成网络。第1层的网络输出Ψl递归地定义为

其中Res（·）表示剩余块，转存失败重新上传取消表示信道级联，↑2×表示使用亚像素卷积进行的2×放大[31]。最终SR结果图像在L层之后生成，以达到目标HR分辨率：

图3示出了在一个尺度上的纹理转移的网络结构，其中残余块从基于Ψl（即ILR）的Ml（即IRef）中提取相关纹理并将其与目标内容合并。

与传统的SISR方法只减少ISR与地面真值IHR之间的差异不同，我们提出的SRNTT方法进一步考虑了ISR与IRef之间的纹理差异。也就是说，我们要求ISR的纹理与0在φl的特征空间中交换的特征映射Ml相似。具体地说，我们将texture-loss Ltex定义为

其中，Gr（·）计算Gram矩阵，λl是对应于层l的特征尺寸的归一化因子。Sl*是所有LR块的加权映射，计算为等式3中的最佳匹配分数。直观地说，与ILR不同的纹理具有较低的权重，从而在纹理传输中得到较低的惩罚。通过这种方式，基于Ref图像质量自适应地强制从IRef到ISR的纹理传输，导致如第5.3节所示的更健壮的纹理幻觉。

3.3 训练目标

为了1）保持LR图像的空间结构，2）提高SR图像的视觉质量，3）利用Ref图像丰富的纹理，我们的目标函数结合了重建损失Lrec、感知损失Lper、对抗损失Ladv和纹理损失Ltex。大多数SR方法都采用重建损失。知觉损失和对抗性损失提高了视觉质量。公式6中已经讨论过的纹理损失具体见RefSR。

3.3.1重建损失

目的是获得更高的峰值信噪比，通常用均方误差（MSE）来衡量。在这篇论文中，我们采用的是L1-范数，

与最小均方误差相比，1-常模将进一步提高ISR。此外，这与WGANGP的目标是一致的，后者将在对抗性损失中讨论。

3.3.2感知损失

为了获得更好的视觉质量，最近的研究工作[1，20，24，30]对知觉损失进行了研究。我们采用VGG19[32]的relu5 1层，

其中V和C分别表示特征图的体积和通道数，φi表示从VGG19模型的隐藏层提取的特征图的第i通道。k·kF表示Frobenius范数。

3.3.3对抗性损失

可以显著提高合成图像的清晰度/视觉质量[19，40]。在这里，我们采用WGAN-GP[12]，它通过惩罚梯度来改进WGAN，获得更稳定的结果。由于WGAN中的Wasserstein距离是基于Ψ1-范数的，因此我们使用Ψ1-范数作为重建损失（等式7）。直观地说，一致的目标将有助于优化过程。对抗性损失表示为：

其中D是1-Lipschitz函数的集合，Pr和Pg分别是模型分布和实分布。

3.4 实施细节

我们采用预先训练的VGG19[32]模型进行特征交换，这是众所周知的纹理表示能力[9，10]。特征层relu1 1、relu21和relu31在多个尺度上用作纹理编码器φl。为了加快匹配过程，我们只在relu3 1层上进行匹配，并将对应关系投影到relu21层和relu11层，并在所有层上使用相同的对应关系。Lrec、Lper、Ladv和Ltex的权重分别为1、1e-4、1e-6和1e-4。Adam优化器的学习率为1e-4。该网络经过2个阶段的预训练，仅应用Lrec。然后，所有的损失都要再训练20个epoch。

我们的方法可以很容易地扩展到处理多个Ref图像。在所有的RefSR实验中，我们使用缩放和旋转版本来增强每个IRef，以获得更精确的纹理匹配结果。

4.数据集

对于 RefSR 问题，LR 和 Ref 图像之间的相似性会显著影响 SR 结果。一般而言，为了训练和评估 RefSR 算法，应该提供与LR 图像有不同程度的相似度的参照图像。就我们所知，目前还没有一个公开可用的这样的数据集。因此，我们基于CUFED 数据集（包含 1883 个拍摄了日常生活中不同事件的相册）构建了一个这样的数据集，其中有不同相似度水平的参照图像。每个相册的大小在30 到 100 张图像之间。在每个相册中，我们都基于 SIFT 特征匹配收集了不同相似程度的图像对——SIFT 特征匹配描述的是局部纹理特征，这与局部纹理匹配的目标一致。

SIFT，即尺度不变特征变换（Scale-invariant feature transform，SIFT），是用于图像处理领域的一种描述。这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子

我们根据 SIFT 特征的最佳匹配数从高到低定义了四个相似度层级，即 L1、L2、L3、L4。从每组配对图像中，我们都从一张图像随机裁剪 160×160 的图块作为原 HR 图像，而对应的参照图像则裁剪自其它图像。通过这种方式，我们收集了13761 组配对的图块作为训练集。对于测试数据集，每张 HR 图像都与所有四个层级的参照图像进行了配对，以便广泛地评估基于参照的 SR 的方法的适应性。我们使用了与构建训练数据集时相似的收集图像对的方法。总体而言，测试集包含126 组样本。每一组都包含一张 HR 图像和四张分别为 L1、L2、L3、L4 层级的参照图像。图 4 展示了两组来自测试集的样本。我们将收集到的训练集和测试集称为 CUFED5，这能很大程度地促进对RefSR 的研究以及提供一个公平比较的基准。

图 4：来自 CUFED5 测试集的样本。从左到右分别是 HR 图像和对应的 Ref 图像。

为了评估在 CUFED5 上训练的模型的泛化能力，我们在 Sun80 和 Urban100 上对其进行了测试。Sun80数据集有 80 张自然图像，其中每一张都伴有一系列网络搜索到的参照，Urban100 数据集则包含无参照的建筑图像。

5.实验结果

在这一部分中，我们进行了定量和定性的比较，以证明所提出的SRNTT在视觉质量和纹理丰富性方面的优势。根据标准协议，我们从HR图像中通过双三次缩小（4×）获得所有LR图像。

表 1：不同 SR 方法在三个数据集上的 PSNR/SSIM 比较。不同方法按照 SISR（上）和 RefSR（下）进行了分组，各组的最佳数值用粗体标出。

5.1定量评价

我们将所提出的SRNTT与最新的SISR和RefSR算法2进行比较，如表1所示。比较的SISR方法有SRCNN[5]、SelfEx[16]、SCN[37]、DRCN[22]、LapSRN[23]、MDSR[25]、ENet[30]和SRGAN[24]，其中MDSR[25]在近两年的PSNR中取得了最新的性能，而ENet[30]和SRGAN[24]被认为是视觉质量方面的最新水平。比较中还包括两种RefSR方法，即Landmark[39]和最近提出的CrossNet[41]，这两种方法的性能优于以前的RefSR方法。

为了进行公平比较，所有基于学习的方法都在所提出的CUFED5数据集上进行训练，并分别在CUFED5、Sun80[33]和Urban100[16]上进行测试。为了公平比较PSNR/SSIM与那些主要最小化最小均方误差的方法，例如SCN和MDSR，我们通过仅最小化均方误差来训练SRNTT的简化版本，即SRNTT-Ψ2。请注意，表1显示了在SISR（上块）和RefSR（下块）设置中的SRNTT-Ψ2的结果。具体地说，SISR设置下的SRNTT-Ψ2使用LR输入作为参考。在CUFED5和Sun80数据集中，每个输入对应于多个引用，所有这些引用都用于Landmark、SRNTT-Ψ2和SRNTT，而CrossNet使用产生最高PSNR的引用，因为CrossNet只接受一个引用。

在表1中，SRNTT-Ψ2在有参考文献的CUFED5和Sun80上得分最高，而在没有参考文献的Urban100上得分最高。即使在所有数据集上都设置了SISR，SRNTT-Ψ2（SISR）的性能也与最新技术类似。所提出的SRNTT利用对抗性损失来提高视觉质量但降低PSNR，在PSNR方面优于ENet和SRGAN（甚至可与那些仅最小化MSE的方法相比），同时获得更高的视觉质量（更精细的纹理和更少的伪影），如图5中的示例所示。第5.2节将对视觉质量进行更全面的评估。如实例所示，SRNTT在从引用中恢复纹理方面优于CrossNet。主要原因是参考文献与LR图像之间存在较大的视差/失调，CrossNet无法处理。

在不丧失一般性的情况下，Sun80和Urban100的示例显示在图5中。在参考文献的帮助下，SRNTT在Sun80上的性能优于其他SR方法。然而，在Urban100上，没有人力资源部的参考资料。我们使用LR输入作为参考，并实现了可以从LR图像传输的内纹理。一般来说，SRNTT在参考文献的帮助下将优于现有的SR方法，并且当没有来自参考文献的HR信息时，我们仍然可以达到最先进的SISR性能。第5.3节将通过分析不同相似度参考文献的性能，进一步证明SRNTT的适应性。

图 5：不同 SR 方法在 CUFED5（最上面三个示例）、Sun80（第四和五个示例）、Urban100（最后一个示例，其参照图像是LR 输入）上的结果的视觉比较。

5.2用户研究的定性评价

为了评估SR图像的视觉质量，我们进行了用户研究，将SRNTT与SCN[37]、DRCN[22]、MDSR[25]、ENet[30]、SRGAN[24]、Landmark[39]和CrossNet[41]进行比较。我们为用户提供成对比较，即SRNTT与other，并要求用户选择分辨率更高的一个。对于每个参考级别，从CUFED5数据集的测试结果中收集2400个投票。图6示出了投票结果，其中赞成SRNTT的百分比表示与沿水平轴表示的算法相比更喜欢SRNTT的用户的百分比。总的来说，SRNTT显著优于其他算法，超过90%的用户投票支持SRNTT。

图 6：用户研究结果。SRNTT 与水平轴上每种算法的比较，蓝条表示支持对应算法的用户数与支持SRNTT 的用户数的百分比

5.3消融研究

5.3.1参考相似性的影响

LR和Ref图像之间的相似性是RefSR方法成功的关键因素。本节研究了CrossNet[41]和所提出的SRNTT在不同参考水平下的性能。表2列出了六个参考级别的结果，其中“HR（warp）”表示通过从原始HR图像随机平移（四分之一到一半宽度/高度）、旋转（10∼30度）和缩放（1.2×∼2.0×放大）获得的参考。L1、L2、L3和L4是来自建议的CUFED5数据集的四个引用级别。“LR”是指使用LR输入图像作为参考（没有外部参考）。与CrossNet相比，SRNTT-Ψ2在每个参考水平上都显示出优越的结果。在“HR”水平上，SRNTT-Ψ2实现了显著的改进，这表明了与使用光流的对准相比，逐块匹配的优势。与SRNTT和SRNTT-2相比，SRNTT在“HR”水平上的峰值信噪比更高，而在其他水平上则更低。这种现象强调了当给定高度相似的引用时，纹理丢失在恢复精细纹理方面的有效性。

为了进一步研究CrossNet和SRNTT之间的差距，我们进行了一个实验，用光学替换特征交换如表2所示，与SRNTT相比，SRNTT-ow即使在HR级也表现出很大的退化，事实上，光学ow处理大视差/失调的局限性。随着参考相似性水平的降低，SRNTT的PSNR/SSIM也逐渐降低，在LR级，SRNTT仍能达到与最先进的SISR算法相当的性能（表1）。我们观察到，在LR水平上，SRNTT-ow的PSNR高于SRNTT，因为Ref与LR输入相同。在这种情况下，光学元件很容易将Ref与LR对齐，而补丁匹配可能遗漏了一些匹配。

表2:CUFED5数据集上不同参考水平的PSNR/SSIM。PM表示是否使用基于补丁的匹配；GAN表示是否使用GAN和其他感知损失。

5.3.2 特征交换层

如第3节所述，多尺度的特征交换和传输将提高SRNTT的性能。表3显示了与使用单一量表相比，使用多个量表的有效性。relu1/2/3表示VGG19的三层/刻度，即relu1 1、relu2 1和relu3 1，用于SRNTT中的特征交换。我们观察到，随着标度数目的减少，PSNR的性能降低。relu3得到的PSNR最低，因为relu3 1是一个更高级别的层，它携带的高频信息更少，与relu11和relu21相比，对纹理传输的贡献更少。对于每个参考水平，PSNR随标度数量的增加遵循类似的趋势。然而，有趣的是，relu3随着参考相似度的降低呈现出先减小后增大的趋势。这表明relu3在保持空间结构方面具有较强的自适应性，即抑制了来自参考的低相似度纹理，并且它倾向于更多地关注空间重建而不是纹理恢复。因此，基于深度模型的多尺度纹理传输在自适应学习内容与外部纹理之间复杂的传输过程时获得了极大的动量。

表 3：在不同参照水平上为特征交换使用不同 VGG 层的 PSNR。

5.3.3纹理损失的影响

提出的SRNTT中使用的加权纹理损失是与大多数SR方法的一个关键区别。与那些风格转换作品不同，在这些作品中，内容图像被显著地修改以承载来自风格图像（即，参考）的纹理，所提出的SRNTT通过局部匹配、自适应神经传递和空间/知觉正则化来避免这种“风格化”。局部匹配保证了纹理的空间一致性，神经传递增强了纹理传递的适应性，而空间/感知正则化则在全局上增强了纹理的空间一致性。纹理损失的影响如图7所示。在CUFED5上测试的SRNTT的信噪比分别为25.25和25.61。如果没有纹理损失，则无法有效地将来自引用的内部纹理传输到输出中。

图 7：与图 5 中同一样本相比，禁用了纹理损失的 SR 结果的质量有所下降

6.结论

本文利用更一般的RefSR问题，其中引用可以是任意图像。我们提出了SRNTT，一种端到端的网络结构，它从参考图像中执行多级自适应纹理传输，以恢复SR图像中更合理的纹理。通过定量和定性实验，验证了SRNTT的有效性和适应性。此外，还构建了一个新的数据集CUFED5，以便于对RefSR方法进行评估。这也为今后的参考文献检索研究提供了一个基准。