风格化图像_CVPR2019：基于神经网络纹理转换的图像超分辨率

SRNTT: Image Super-Resolution by Neural Texture Transfer

[Paper] [Code]

SRNTT方法创新点：在

图像中找到与

图像中图像 patch 最相似的图像特征，然后再通过特征变换,将

图像中匹配的图像特征用于图像细节纹理增强。因此该论文提出了一种新的纹理特征转化网络。

摘要

由于低分辨率（LR）图像中的大量信息丢失，进一步推进单图像超分辨（SISR）的最新技术已变得极具挑战性。另一方面，基于参考的超分辨率（RefSR）已被证明在提供与LR输入具有相似内容的参考（Ref）图像时，有望恢复高分辨率（HR）图像细节。

但是当参考图像不太相似时，RefSR 的质量可能会严重下降。本文旨在通过利用具有较强鲁棒性的参考图像，利用更多纹理细节来释放 RefSR 的潜力，即使提供了不相关的参考图像也是如此。受近期图像风格化工作的启发，我们将 RefSR 问题公式化为神经纹理转移。我们设计了一个端到端的深度模型，该模型通过根据参考图像的纹理相似性自适应传递纹理来丰富 HR 图像细节。而不是像以前的方法那样在原始像素空间中匹配内容，我们的主要贡献是在神经空间中进行的多级匹配。

这种匹配方案促进了多尺度神经网络特征的传递，这使得该模型能够从那些语义相关的参考图像的子图像块中受益更多，即使在最不相关的参考图像输入上，能够至少达到 SISR 的性能。我们为 RefSR 的一般研究建立了一个基准数据集，其中包含参考图像与相似程度不同的LR输入配对。

提出方法

Feature swap 特征交换

我们首先进行特征交换，它会在整个

上搜索局部相似的纹理，这些纹理可用于替换（或交换）

的纹理特征以增强SR恢复。

1. 计算特征相似性 由于 LR 和 Ref 图像块的颜色和照度也可能不同，因此我们在卷积网络特征空间$phi(I)$中匹配它们的相似性，以强调结构和纹理信息。其计算方式如下：

可以将相似度计算有效地实现为所有LR子图像上的一组卷积（或相关）运算，每个核对应一个Ref子图像块：

2. 获取变换特征

根据相似度矩阵，直接获取原图中的对应的特征子图像块：

其中需要注意的是

是坐标映射函数，用于将子图像块中心点的坐标映射为索引。(PS:

这里需要去查看源码才能指导到底是如何实现的)这里，采用

用于提取相似子图像块。

Network 网络结构

SRNTT 网络结构下图所示。SRNTT通过在不同尺度上进行特征挑选，从而实现了纹理增强。

结果

一些可视化的结果如下，可以看到通过纹理迁移的方式能够很好地恢复图像高频细节。并且对于规则纹理，SRNTT 复原更加准确且清晰。