Image Super-Resolution by Neural Texture Transfer

Zhifei Zhang,Zhaowen Wang,Zhe Lin,Hairong Qi

CVPR2019

摘要

之前提出的RefSR的方法虽然很有潜力，但是存在一些问题，一旦RefSR与LR不够相似的时候超分辨率的结果就很差。论文为了充分发挥RefSR的作用。不仅只学习RefSR的像素级的文本信息还同时学习多个层次的信息。

主要贡献

论文学会用RefSR的思想，打破了SISR的束缚。（其实就是不再单纯地学习HR和LR的映射，而是引入RefSR）
论文提出了SRNTT，可以得到更好的超分辨率效果。
论文建立了一个新的数据集，CUFED5，对LR有不同相似程度的RefSR，用来进行进一步探索。

主要方法

网络结构如上图。

特征交换

特征交换这一部的主要工作就是在Ref中找到与LR最接近的块，然后替换掉LR中的块。这就涉及两个步骤(1)如何计算相似度(2)如何交换对应块。

（１）如何计算相似度

论文提出的方法不是计算整个图的相似度，而是分块计算。这里因为LR和Ref的大小不同，先对LR用bicubic进行上采样使LR和Ref具有相同的大小，而同时考虑到二者的分辨率不同，对Ref用bicubic进行下采样再上采样，使得 $I^{ref\downarrow \uparrow}$ 的模糊程度跟 $I^{LR\uparrow}$ 接近。

考虑到 $I^{LR\uparrow}$ 和 $I^{ref\downarrow \uparrow}$ 的块在颜色和光照上面可能有些不同，于是论文不直接对Patch的像素进行计算相似度，而在高层次的特征图上计算，即 $\phi (I)$ ，来突出结构和纹理信息。

论文采用内积方法来计算相似度：

$S_{i,j}=\left \langle P_i(\phi (I^{LR\uparrow })),\frac{P_j(\phi(I^{Ref\downarrow \uparrow}))}{\left \| P_j(\phi(I^{Ref\downarrow \uparrow})) \right \|} \right \rangle$

$P_i$ 表示第i块，而从公式中可以看出 $I^{ref\downarrow \uparrow}$ 的块被规范化了。

而对于整个 $I^{LR\uparrow}$ 计算相似度的操作也就相当于是将 $I^{ref\downarrow \uparrow}$ 的j块当做卷积核的卷积操作。

$S_j = \phi(I^{LR\uparrow})*\frac{P_j(\phi(I^{Ref\downarrow \uparrow}))}{\left \| P_j(\phi(I^{Ref\downarrow \uparrow})) \right \|}$

$S_j$ 即 $I^{ref\downarrow \uparrow}$ 第j个块得到的相似度map。

定义 $S_j(x,y)$ 表示以(x,y)为中心的 $I^{LR\uparrow}$ 块和 $I^{ref\downarrow \uparrow}$ 的第j块得到的相似度图。

（2）交换操作

$P_{w(x,y)}(M)=P_{j*}(\phi(I^{Ref})),j^*=argmax_jS_j(x,y)$

$w(x,y)$ 指的是索引，即以(x,y)为中心的块的索引，M是交换后得到的特征图，这个公式的意思先找到 $I^{ref\downarrow \uparrow}$ 与 $I^{LR\uparrow}$ 相似度最大的那个块，找到 $I^{Ref}$ 中对应的块的特征图来做M的 $P_{w(x,y)}$ 块。

如果有重叠的部分，就取均值。

Neural Texture Transfer

这一结果的主要功能就是将这些不同规模和大小的M和深度学习结合起来。

论文采用残差块和跳跃连接来建立基本的生成网络。记 $\varphi _l$ 是第l层的输出，可以定义为：

$\varphi _l = [Res(\varphi _{l-1}\parallel M_{l-1})+\varphi_{l-1}]\uparrow_{2\times}$

$\uparrow_{2 \times}$ 即2倍上采样。 $\parallel$ 表示通道连接。

上图是纹理迁移的结构。

假设有L层，那最终SR:

$I^{SR}=Res(\varphi _{L-1}\parallel M_{L-1})+\varphi _{L-1}$

不同于SISR只考虑 $I^{SR}$ 和 $I^{HR}$ 的不同，SRNTT还考虑了 $I^{SR}$ 和 $I^{Ref}$ 的纹理差异。于是论文定义了一个纹理损失：

$L_{tex}=\sum_{l}\lambda_l\left \| Gr(\phi_l(I^{SR})\cdot S_l^*)-Gr(M_l\cdot S_L^*) \right \|_F$

其中GR表示Gram矩阵， $S_l^*$ 表示全部LR块对应的最匹配的相似度的评分。 $\lambda _l$ 就是正则化系数。

训练目标函数

为了保留LR的空间结构、改善SR的视觉效果，并充分利用Ref的纹理信息。损失函数包括重构损失、感知损失、对抗损失、纹理损失。

重构损失：

$l_{rec}=\left \| I^{HR}-I^{SR} \right \|_1$

采用1范数是为了产生更尖锐的细节。

感知损失：

$l_{per}=\frac{1}{V}\sum_{i=1}^C\left \| \phi_i(I^{HR})-\phi(I^{SR}) \right \|_F$

V表示长乘宽，C表示通道数。感知损失取得是VGG19中relu5_1的特征图。

对抗损失：

$L_{adv}=-E_{\tilde{x}\sim P_g}[D(\tilde{x})]$

实现细节

前面的特征提取层来自于不同的VGG层，relu1_1,relu2_1,relu3_1。

$L_{rec},L_{per},L_{adv},L_{tex}$ 的权值分别为1,1e-4,1e-6,1e-4.

学习率设置为1e-4.优化器为adam.

网络先只用重构损失训练2epochs，再用全部的损失训练20epochs。

论文还对 $I^{Ref}$ 做数据增强，获取其对应的放缩和旋转。

数据集

论文通过捕获日常生活中的场景，建立了1863个目录，每个目录包含30到100张图片。每个目录内都包含相似程度不同的图像对。

论文的方法在训练时，随机裁剪 $160\times 160$ 的图像块，作为HR,，其对应的作为Ref，对HR用bicubic下采样4倍得到LR.

用13761对patch作为训练集。用120组图像作为测试集，每组都包括四个相似度等级的ref图像。

论文还采用了Sun80,Urban100作为测试图像，Sunn80中的80个图像没有ref，论文在网上为其搜集了对应的ref。而Urban100没有ref。

结果可以证明SRNTT的纹理损失的作用。

论文还对比了cross-net的optic flow的方法。证明了块匹配的效果。

论文还对比了使用不同VGG层和在不同参考等级下的psnr。

最后论文对比了有纹理损失和没有纹理损失的SR结果，证明了纹理损失的意义。

SRNTT:Image Super-Resolution by Neural Texture Transfer相关推荐

（SRNTT）Image Super-Resolution by Neural Texture Transfer
总结一波: 与TTSR有很多相似之处,SRNTT可以看成是TTSR的前身,其中除了网络设计不同外,损失函数SRNTT比TTSR多了一个纹理损失(与以往的工作不同,我们添加了纹理损失来考虑文纹理上的一致 ...
【图像超分辨率】Image Super-Resolution by Neural Texture Transfer
Image Super-Resolution by Neural Texture Transfer 摘要: 1.引言 2 相关工作 2.1 基于深度学习的SISR 2.2基于参考的超分辨率 3. 方法 ...
论文翻译：2019_Speech Super Resolution Generative Adversarial Network
博客作者:凌逆战论文地址:基于GAN的音频超分辨率博客地址:https://www.cnblogs.com/LXP-Never/p/10874993.html 论文作者:Sefik Emre Es ...
论文翻译：Speech Super Resolution Generative Adversarial Network
博客作者:凌逆战论文地址:https://ieeexplore.ieee.org/document/8682215 博客地址:https://www.cnblogs.com/LXP-Never/p/ ...
吴恩达深度学习课程deeplearning.ai课程作业：Class 4 Week 4 Art Generation with Neural Style Transfer
吴恩达deeplearning.ai课程作业,自己写的答案. 补充说明: 1. 评论中总有人问为什么直接复制这些notebook运行不了?请不要直接复制粘贴,不可能运行通过的,这个只是notebook ...
15.深度学习练习：Deep Learning Art: Neural Style Transfer
本文节选自吴恩达老师<深度学习专项课程>编程作业,在此表示感谢. 课程链接:https://www.deeplearning.ai/deep-learning-specialization ...
吴恩达深度学习4.4练习_Convolutional Neural Networks_Art Generation with Neural Style Transfer
转载自吴恩达老师深度学习课程作业notebook Deep Learning & Art: Neural Style Transfer Welcome to the second assign ...
Neural Style Transfer: A Review
这篇是风格转移方面的综述,文中总结了多种风格转移的方法.因为18年看过很多风格转移方面的论文,因此翻译这篇综述. Gatys等人的开创性工作.通过分离和重新组合图像内容和风格,展示了卷积神经网络(CN ...
Wavelet-SRNet: A Wavelet-based CNN for Multi-scale Face Super Resolution
Wavelet-SRNet: A Wavelet-based CNN for Multi-scale Face Super Resolution 2017 ICCV 1.引言 2.网络结构 3.损失函 ...
风格迁移综述Neural Style Transfer: A Review
浙江大学和亚利桑那州立大学的几位研究者在 arXiv 上发布了一篇「神经风格迁移(Neural Style Transfer)」的概述论文,对当前神经网络风格迁移技术的研究.应用和难题进行了全面的总结 ...

SRNTT:Image Super-Resolution by Neural Texture Transfer