Unsupervised Real-world Image Super Resolution via Domain-distance Aware Training(基于域距离感知训练的非监督真实图像超分)

补充：cvpr21open world vision workshop

cvpr2020

一篇本论文的博客

Abstract

  • 生词：off-the-shelf(现成的) synthetic(合成的) corresponding to(对应于) bring forward(提出) rational(合理，理性) validated（通过验证）consistently（始终如一的）realistic（逼真的）
  • 现有的方法理念在于增强未配对数据。首先从真实世界中的高分辨率图片（xrx^rxr）中生成低分辨率的图片(ygy^gyg)，对应的真实世界中的低分辨率图片(yry^ryr)然后再用监督学习的方式训练pseudo pairs(伪配对)数据 {ygy^gyg,xrx^rxr} 。由于图片分辨率转换本身就是一个具有挑战性的任务，这样做的方法使得超分性能受到生成图片LR与真实的LR之间的域间隙（domain gap）的限制。
  • 提出了基于域距离感知的无监督真实图像超分辨率方法。(domain-distance aware super-resolution，DASR)。
  • 训练数据(例如 ygy^gyg)和测试数据(例如 yry^ryr)之间的域差距通过我们的域差距感( **domain-gap aware training **)知训练和域距离加权监督策略( domain-distance weighted supervision strategies)来解决。
  • Domain-gap aware training从目标域真实数据中得到好处，Domain- distance weighted supervision 提出了更合理的使用标记源数据的方法。
  • 作者认为自己的方法在合成的和真实数据库中得到了验证，DASR结果始终超过state-of-art非监督模型，产生 的图片纹理更逼真自然。

Introduction

  • 补充：感知损失：它是将真实图片卷积得到的feature与生成图片卷积得到的feature作比较，使得高层信息（内容和全局结构）接近，也就是感知的意思。

  • 生词：perceptual losses 感知损失。the poor generalization capacity 泛化能力差 pursuit 追求 laborious 复杂的 perspective视角 predetermined synthetic data 预定合成数据 parameterized degradation model 参数化退化模型 sensor noise传感器噪音 compression artifacts 压缩伪影 histogram直方图 leverage 利用，发挥作用。 an advanced exploitation of… 更进一步开发… superiority 优势

  • discriminatively trained SR networks泛化能力差限制了其在真实场景中的应用。当应用于超分辨率真实图像时，在模拟数据集上训练的SR网络通常会导致SR结果中出现奇怪的伪影。

  • 提升训练模型泛化率以使得在一个数据类别上训练的模型可以应用在其他问题上，一些方法认为HR与LR满足一种参数化退化关系，从算法视角提出了一些方法。这些方法提升了模型训练的泛化能力，但固定退化假设极大地限制了它们在真实数据上的性能，而真实数据往往受到复杂的传感器噪声和压缩伪影的影响。

  • 如今，不基于参数退化模型假设而利用非配对的训练数据的非监督超分算法而利用非配对的训练数据的被提出。但是这些算法忽略了下采样的真实低分辨率图像与真实世界中低分辨率图像之间的域距离，尽管这些算法使用伪配对得到真实世界中低质量图像域的一些特点，获得了比较好的结果但是yry^ryr与ygy^gyg仍存在域距离。

  • 不同于使用伪配对进行无监督学习的超分方法，我们考虑了 YgY^gYg 与 YrY^rYr 之间的域距离，在Domain adaptation setting下解决了超分存在的问题，通过domain-gap aware training (域距离感知训练)和 domain-distance weighted supervision(域距离加权监督策略)解决domain gap问题。

    • 第一：DASR使用伪配对{ YgY^gYg , XrX^rXr }和真实的低分辨率图片 YrY^rYr来训练 SR网络。除了伪配对的监督损失以外，DASR还在真实世界数据 YrY^rYr 高分辨率预测 Xr′−>rX^{r'->r}Xr′−>r中添加对抗约束。将YR结合到训练中来通知目标域的网络，极大地提高了其在真实数据上的SR性能。
    • 第二：鉴于不同生成的低质量图片与真实世界图片之间域距离有远有近，根据 yigy_i^gyig​ 和 YrY^rYr 的域距离调整了不同伪配对{ yig,xiry_i^g, x_i^ryig​,xir​}的重要程度。训练过程中，与真实世界域距离接近的权重大，而不真实例子则仅允许在训练中参与有限的贡献。
    • 此外作者还采用了更好的下采样网络结构和更好的小波域对抗性损失。

  • 作者的工作总结：

    • 提出DASR网络模型来解决真实世界SR问题。通过提出域距离感知训练和域距离加权监督策略，解决了生成的低质量图片与真实图片之间域距离问题。
    • 作者设置了 ablation studies （消融实验）来分析验证自己的方法的优势。

2、Related Works

2.1 Single Image Super-Resolution with CNNs

  • 生词：dominate 占据主导地位 pioneer work 开拓者工作 venture冒险，投机。 a surge of 一股激增的。perceptual loss（感知损失) manifold 流形 criterion 判据 aforementioned 上述的 simulated datasets 模拟数据集 blur kernel 模糊核 subsequent 后继 explicitly明确的说。 be capable of 有能力，可以。 generalizing 推广. be consist with 与…一致 deteriorate 恶化 Discrepancy差异
  • 本段主要介绍了CNN网络在超分领域的发展，一些架构、损失函数设计以及不同训练标准（training criterions）的提出例如提出了基于感知驱动的感知损失函数改善感知质量结果。提高了超分的质量。
  • 一些工作假设LR与HR图像退化模型可以通过未知的模糊核和随后的下采样操作来表征。这些盲SR在测试时显式地估计未知模糊核，并将估计的核作为核自适应超分网络的输入变量来满足不同的退化超参数。还有一些工作尝试使用测试图片信息在测试阶段训练或微调超分网络。然而这些工作都基于未知图像退化假说，最近的研究考虑非监督设定来代替退化假设。一篇介绍2020年以前的超分工作的博客。

Domain Adaptation(领域自适应)

  • 生词：deploy 部署

  • 领域自适应的目的是利用已标记的源域来学习在未标记的目标域上表现良好的模型。域适应 简介(核心思想：把Source 和 Target 上的数据，都投影到某一个共同的空间上 (Space)。在这个空间上Source 和 Target的数据差异会变小，就可以当成同一个数据集了，我们就能用各种分类器在这个空间上进行训练了。)。早期领域自适应在计算机视觉领域的研究重点是解决高层分类任务中的领域偏差问题,而最近，领域自适应也被用于更具挑战性的密集估计任务，如语义切分.在适当的自适应策略下，在合成数据集上训练的模型取得了与用真实标记数据训练的模型相当的性能。在这篇文章中，我们使用域自适应来改善真实数据上的超分性能，作者是第一个应用域适应来提升低分辨率图像增强的。

DASR for Unsupervised Real-World Image SR

3.1 方法概述

  • 生词：simultaneously 同时 In contrast to 与之形成鲜明对比的是。adopt 采用

  • 文章研究非监督真实世界图像超分问题。给定一系列真实世界低分辨率图片 Yr=(yir)i=1,...MY^r = {(y_i^r)}_{i = 1,...M}Yr=(yir​)i=1,...M​和一些未配对的高分辨率图片 Xr=(xir)i=1,...MX^r = {(x_i^r)}_{i = 1,...M}Xr=(xir​)i=1,...M​ 。我们的目标是学习一个SR网络(SRN)来扩大低分辨率图片LR的分辨率，同时确保高分辨率图片HR估计在真实的HR分布中。

    • 首先，我们训练一个下采样网络(DSN)来从HR图像生成真实的LR域中的LR图像： yig=DSN(xir)y_i^g = DSN(x_i^r)yig​=DSN(xir​) ，然后使用生成的LR-HR对 (yig,xir)i=1,...M{(y_i^g,x_i^r)}_{i = 1,...M}(yig​,xir​)i=1,...M​ 来训练SRN（超分网络）。与之前直接使用伪配对以监督学习方法训练SRN不同，DASR考虑 yg与yry^g与 y^ryg与yr 域偏置，采用域间隙感知训练和域间距加权监督策略充分利用真实世界的LR图像以及生成的对。

3.2 Training of Down-Sampling Network(通过从未配对的数据生成合成LR-HR对来训练下采样网络模型DSN)

  • 生词：Despite 尽管 capture 俘获 spatial 空间的 resolution 分辨率 project 投影. content 内容. consistent 始终如一. Bicubic downsampled 双三次下采样。feature extractor 特征抽取器 denote表示 impose 强加 concretely 具体来说 sub-bands 子波段 wavelet-based 基于小波的 decompose 分解 symmetrical form 对称形式 impose 引入 a valid receptive field 有效的接受域. stabilize 稳定 halve减半

  • Network architecture:

    • 为了避免在输入和输出之间改变图像大小，现有的方法采用双三次下采样操作作为预处理步骤Frequency Separation for Real-World Super-Resolution。然而，尽管降低了转换难度预处理下采样操作会移除生成真实低分辨率图片的必要的信息。DSN则使用高分辨率图片作为输入，通过网络直接捕捉整个退化过程。这样不会在双三次下采样中损失信息。
    • DSN利用23个残差块从HR图像中提取信息，每个残差块包含两个卷积层(核大小为3×3，通道数为64)和其间的REU激活函数。然后，采用双线性调整算子和两层卷积层来降低特征的空间分辨率，并将特征投影回图像域。

  • Losses:

    • 为了保持生成的低分辨率图片与输入高分辨率图片内容上一致，使用内容损失函数 LconL_{con}Lcon​ 与感知损失函数 LperL_{per}Lper​ 来约束生成的低分辨率图片 LR 即 yig=DSN(xir)y_i ^ g = DSN(x_i^r)yig​=DSN(xir​) 和双三次下采样高分辨率图片 yiby_i^byib​​ :
      Lcon=Exr∣∣yib−DSN(xir)∣∣1,Lper=Exr∣∣ϕ(yib)−ϕ(DSN(xir))∣∣1L_{con} = E_{x^r}\vert\vert{y_i^b - DSN(x_i^r)} \vert\vert_1, \quad L_{per} = E_x^r \vert\vert{\phi(y_i^b) - \phi(DSN(x_i^r))}\vert\vert_1 Lcon​=Exr​∣∣yib​−DSN(xir​)∣∣1​,Lper​=Exr​∣∣ϕ(yib​)−ϕ(DSN(xir​))∣∣1​

    • 其中 yib=β(xir)y_i^b = \beta(x_i^r)yib​=β(xir​) 是对高分辨率图片进行双三次下采样得到的结果， ϕ(.)\phi(.)ϕ(.) 表示 VGG特征提取器。我们遵循ESRGAN还有从卷积层5_3计算VGG-19特征的知觉损失。为了达到领域转换的目的，我们对图像事例 ygy^gyg 与 yry^ryr强加了对抗损失。我们采用了FSSR的思想即只在高频率空间强加对抗损失。但是我们使用Haar wavelet transform（哈尔小波变换）来提取更具信息量大高频成分。具体来说，使用哈尔小波变换分解为四个子波段 LL,LH,HL,HH。堆叠LH,HL,HH部分作为鉴别器的输入，与FSSR中使用的高频抽取器相比，我们的基于小波的抽取器还利用了方向信息来更好地表征图像细节。对生成器的 GAN loss 定义为:
      LadvG=Exr[log(1−D(Hwavelet(DSN(xr))))]L_{adv}^G = E_x^r[log(1-D(H_{wavelet}(DSN(x^r))))] LadvG​=Exr​[log(1−D(Hwavelet​(DSN(xr))))]
      用于训练鉴别器的GAN loss是对称形式的：
      LadvD=Eyr[log(1−D(Hwavelet(yr)))]+Exr[log(D(Hwavelet(DSN(xr))))]L_{adv}^D = E_{y^r}[log(1-D(H_{wavelet}(y^r)))] + E_{x^r}[log(D(H_{wavelet}(DSN(x^r))))] LadvD​=Eyr​[log(1−D(Hwavelet​(yr)))]+Exr​[log(D(Hwavelet​(DSN(xr))))]
      其中 Hwavelet(.)H_{wavelet}(.)Hwavelet​(.)表示使用哈尔小波变换提取LH,HL,HH子波段并将这三个变量连接起来。在高频域引入对抗性损失使我们能够忽略与SR任务不太相关的低频内容，而更多地关注图像细节。此外，在低维空间进行对抗性训练也降低了GAN训练的难度。使用与CycleGAN 还有 一样的策略，在每一patch上引入GAN loss。具体来说，我们使用4层全卷积鉴别器,该patch鉴别器的有效接受域为 23×2323 \times 2323×23 , PatchGAN策略有助于得到patch级别的密集域距离映射，该映射将用于SRN的后续训练阶段。

      补充：patch：图像块，当需要处理的图像分辨率太大而资源受限(比如显存、算力等)时，就可以将图像划分成一个个小块，这些小的图像块就是patch。为何要划分patch而不使用resize缩小分辨率呢？ resize操作大多是对图像进行插值处理，本质上一种滤波，在像素级别上会造成损失 划分patch只是把原来的大图分成一个个小图，而这些小图依然是原图的部分，像素值没有改动，因而在理论上，训练出来模型的上限能够比基于resize得到的图像训练来的高，同时保证了样本均衡。

      ​ 小波变换：小波变换是将原始图像与小波基函数以及尺度函数进行内积运算,所以一个尺度函数和一个小波基函数就可以确定一个小波变换。经过小波变换后图像会生成低频信息和高频信息。低频信息对应于求均值，高频信息对应于求差值。

      均值是局部的平均值，变化缓慢，属于低频信息，存储图片的轮廓信息，近似信息`
`差值是局部的波动值，变化较快，属于高频信息，存储图片的细节信息，局部信息，另外含有噪音

  • Training Details:

    • Training loss:
      LDSN=αLcon+βLper+γLadvGL_{DSN} = \alpha L_{con} + \beta L_{per} + \gamma L_{adv} ^ G LDSN​=αLcon​+βLper​+γLadvG​
      为稳定训练，我们使用content loss 预训练DSN网络，在25000次预训练迭代后， α,β,γ\alpha , \beta, \gammaα,β,γ 分别设置为 0.01, 1, 和 0.0005。 我们用192×192尺寸的HR裁剪图片训练DSN网络，批大小设置为16个。初始学习率为0.0001，每10000次迭代我们的学习率减半。我们为50000次迭代训练模型。

Domain distance aware traning of Super-Resolution Network

  • 生词：performance drop 性能下降 alleviate 缓解 incorporate 合并 align 对齐 rational 合理的 adaptively 适应性地

  • 经过上述DSN，我们可以生成合成配对数据((yig,xir)i=1,...,M(y_i^g,x_i^r)_{i = 1,...,M}(yig​,xir​)i=1,...,M​。然而 yg和yry^g和y^ryg和yr之间的域间隙仍然存在。当对合成数据进行训练的SR网络应用于超分辨率真实的LR图像时，训练数据和测试数据之间的领域差距将导致性能下降。为了缓解域偏差问题，我们考虑域自适应设置并将源域标记数据{Yg,XrY^g,X^rYg,Xr}和目的域未标记数据YrY^rYr在训练SR网络中合并。该自适应策略的核心由域间隙感知训练和域距离加权监督两部分组成。图4显示了领域距离感知训练过程。

  • Domain-gap aware training

    • 在给定源域和目标域的训练样本的情况下，我们利用两个域中不同的损失来充分利用训练数据。对于原域中有监督标签的数据，我们使用loss函数以监督方式训练网络。对目标域中没有标签的数据我们使用 adversrial loss 将输出分布 Xr→r^=SRN(yr)\hat{X^{r\rightarrow r}} = SRN(y^r)Xr→r^=SRN(yr) 与真实高分辨率图片XrX^rXr 分布对齐使其一致。与我们的DSN训练一样，我们在小波段空间引入 GAN losses。

    • Ltarget,advG=Eyr[log(1−D(Hwavelet(SRN(yr))))];Ltarget,advD=Exr[log(1−D(Hwavelet(xr)))]+Eyr[log(D(Hwavelet(SRN(yr))))]L_{target,adv}^G = E_{y^r}[log(1-D(H_wavelet(SRN(y^r))))]; \\ L_{target,adv}^D = E_{x ^r}[log(1-D(H_{wavelet(x^r)}))] + E_{y^r}[log(D(H_{wavelet}(SRN(y^r))))] Ltarget,advG​=Eyr​[log(1−D(Hw​avelet(SRN(yr))))];Ltarget,advD​=Exr​[log(1−D(Hwavelet(xr)​))]+Eyr​[log(D(Hwavelet​(SRN(yr))))]

      除了使用目标域引入 Ltarget,advL_{target,adv}Ltarget,adv​ 来指导网络训练外，合理利用源域信息对得到好的SRN也很重要。下面介如何利用每个样本的域距离信息来自适应地监督训练SRN网络。

  • Domain-distance weighted supervision

    • 生词：possess 拥有，占有 diverse 多元 more specifically更具体地说。 endow 得天独厚的 respective 各自 supervision 监督 dense 稠密 denote 表示

    • 每个样本的 YgY^gYg 与真实世界图片域 YrY^rYr 存在着域差距。由于来自不同域的图片之间的差距仅存在于其低层次的characters，生成图片的任一部分可能与真实图片之间拥有不同的域距离。当作为源域数据用于训练目标域 SRN时，应根据不同区域到目标域的距离个各自赋予不同的重要性。我们提出了加权监督策略，该方法使用稠密域距离图来自适应的调节每一对 yig,xiry_i^g,x_i^ryig​,xir​ 的损失函数值losses。源域中的加权监督损失可以写成如下：
      Lsource,con=Eyig,xir∣∣wi⊙(SRN(yig)−xir)∣∣1Lsource,per=Eyig,xir∣∣wi⊙(ϕ(SRN(yig))−ϕ(xir))∣∣1L_{source,con} = E_{y_i^g,x_i^r} \vert\vert{w_i \odot(SRN(y_i^g)-x_i^r)}\vert\vert_1 \\ L_{source,per} = E_{y_i^g,x_i^r} \vert\vert{w_i \odot (\phi(SRN(y_i^g))-\phi(x_i^r))}\vert\vert_1 Lsource,con​=Eyig​,xir​​∣∣wi​⊙(SRN(yig​)−xir​)∣∣1​Lsource,per​=Eyig​,xir​​∣∣wi​⊙(ϕ(SRN(yig​))−ϕ(xir​))∣∣1​
      wiw_iwi​是 yigy_i^gyig​ 的域距离映射， ⊙\odot⊙ 代表逐点乘法。我们利用在DSN训练过程中获得的鉴别器来评估每个样本的域距离映射。注意到鉴别器是训练来从真实世界低分辨率图片patches辨别生成patches的，鉴别器的输出代表输入来自目标域的概率。因此，鉴别器输出越大，输入来自目标真实世界LR域的可能性就越高，到目标域的距离就越小。我们直接利用判别器的输出来加权每个局部区域的重要性。我们利用双线性调整器来调整权重图的大小，使其与HR图像保持一致。

  • 训练细节：

    • 总之，使用域距离感知训练策略 SRN，我们通过最大限度地减少以下损失来训练SRN：
      LSRN=αLsource,con+βLsource,per+γLtarget,advL_{SRN} = \alpha L_{source,con} + \beta L_{source,per} + \gamma L_{target,adv} LSRN​=αLsource,con​+βLsource,per​+γLtarget,adv​
      同我们训练DSN流程一样，我们首先使用源域 content loss 预训练我们的SRN网络。经25000次预训练迭代，我们使用上述损失函数且参数为：α=0.01,β=1and、gamma=0.005\alpha = 0.01,\beta = 1 and 、gamma = 0.005α=0.01,β=1and、gamma=0.005 来进行另外50000次迭代训练。我们初始化学习率为0.0002并且每10000次迭代对齐减半。

    • 我们的适配策略适用于不同的网络架构。在本文中，我们直接采用ESRGAN 中使用的体系结构作为我们的SRN。

4 实验结果域生成数据库

4.1 实验设置：

  • 生词：compressed 压缩. Validation database验证集 quantitative定量 comparison 比较.

  • 我们将DASR方法应用在 AIM数据库上，这个数据集通过应用合成但逼真的降级来清理高质量图像来模拟数据集。我们遵循了挑战赛中靶域超分辨率的实验设置。训练集包括来自Flickr2K数据集的2650个降级未知的噪声压缩图像和来自DIV2K数据集的800个干净的HR图像。我们在AIM挑战赛的验证数据集上进行了实验，该数据集有用于定量比较的配对数据。验证数据集包含100幅退化类型与训练LR图像相同的图像。由于GAN方法侧重于恢复图像的感知质量，因此学习感知图像块相似度(LPIPS)和平均意见得分(MOS)被用作评价不同方法的主要指标。使用不同的方法计算MOS，测试结果以与ground truth并排的方式展示出来。**一张特定图片的最终MOS是不同候选人评价的平均分：0-相同，1-非常相似，2-相似，3-不相似，4-不同。**对于论文中报告的所有MOS值，我们有相同的26个候选者进行用户研究。除了感知指标外，还使用峰值信噪比(PSNR)和结构相似指数(SSIM)作为参考的额外定量指标。

4.2 Ablation study（消融研究）:为了研究模型中提出的一些结构是否有效而设计的实验，对提出的某结构，将去掉该结构的网络与加上该结构的网络所得到的结进行对比就是ablation study.（控制变量）

  • 设置ablation study来验证模型 DASR的效果。我们首先分析了我们对DSN训练的设计选择。在此基础上，给出了实验结果，验证了本文提出的域间隙感知训练策略和域距离加权监督策略的有效性。
  • Better down-sampling network for synthetic paired data generation
    • 生词： un-preprocessed未经前处理的 quantitative 定量 metrics量度 respective 各自的 denote 表示 residual残留物
    • **DSN改进了以往的方法，直接从未经处理的HR图像中估计LR图像，并在小波空间中采用更好的对抗性损失。**为了评估我们修改的效果，我们结合了不同的设计选择来生成LR图像,我们训练了不同设置的下采样网络，并使用这些模型从AIM验证数据集中的HR图像生成LR图像。我们将生成的LR图像与数据集中的原始LR图像进行比较，不同模型实现的定量度量如表1所示: 文中还给出了不同下采样网络产生的可视化实例。
    • 在该表中，HR/双三次LR表示不同下采样网络所使用的各自的输入。而高斯模糊频率分离(GBFS)、小波频率分离(WFS)和RGB表示模型在不同的空间进行对抗性训练：GBFS使用原始图像和高斯模糊图像之间的残差来提取高频分量，我们的WFS方法采用小波变换来提取高频分量，RGB意味着我们直接在RGB图像上引入GAN损耗。表1中的结果清楚地表明，所提出的DSN结构和小波空间中的对抗性损失都有利于生成更好的LR图像，更接近于目标域中的真实图像。
      • AIM数据集的Ablation study
    • 补充：图像超分常用指标
      • LPIPS :也称为感知损失，用于度量两张图像之间的差别，LPIPS 比传统方法（比如L2/PSNR, SSIM, FSIM）更符合人类的感知情况。最早出现在CVPR2018发表的论文中，LPIPS的值越低表示两张图像越相似，反之，则差异越大。
      • PSNR：峰值信噪比：PSNR的定义由图像 的像素值上限 L 和两幅图像间的均方误差(Mean Squared Error，MSE)来表示。在一般情况下，使用8位灰度图像，即 L=255。PSNR的值一般在20到40之间变化， 数值越高，表示两幅图像之间的差异越小。当 L 固定时，PSNR仅与图像之间的MSE 有关，即仅关注同一位置上像素值之间的差异，而非真实视觉感知。
      • SSIM：融合亮度、对比度、结构三个独立制表形成了结构相似度指标(SSIM)。用于测量图像之间的结构相似性。SSIM值的范围区间在[0,1] 内。 若值越接近1，则说明重建图像与目标图像越相似。
  • Domain-gap Aware Training
    • 域距离感知训练是我们模型成功的关键。在表2中，我们给出了实验结果，以显示我们的域距离感知训练的优势。我们使用DSN生成的合成对数据 {yg,xry^g,x^ryg,xr} 或者双三次下采样LR-HR对 {yb,xry^b,x^ryb,xr}作为源域数据来做实验。正如在3.2中介绍的那样，我们域距离感知训练策略在目标域中引入了额外的对抗损失。为了进行公平的比较，表2中，没有进行域距离感知训练的模型在源域中引入了对抗性损失。在这两种设置下，所提出的领域感知训练策略一致地改善了最终的SR性能。它帮助SRN生成高质量的HR超分图像，具有更好的MOS分数和更好的LPIPS指数。 由于MOS指数是通过将主观图像与其对应的参考图像进行比较来获得的，因此具有不同视觉质量的图像可以被归类为同一类别，即相似或不相似。因此，MOS分数并不能全面反映我们的领域感知训练策略的优势。另一方面，LPIPS指数可以清楚地验证我们的领域差距意识训练的有效性。通过在SRN的训练过程中引入目标域数据，即使用双下采样的LR-HR对{Yb，Xr}训练的模型在真实的LR图像上也具有很好的泛化能力。
  • Domain-distance weighted Supervision
    • 此外，为了更好地利用源域数据，我们还提出了一种域距离加权监督策略.表2中的实验结果也清楚地表明了域距离加权监督的优势。通过引入权重以自适应地利用成对的训练数据，我们可以得到表3不同数据集的定量比较。 请注意，监督训练的ES-RGAN(S.T.ESRGAN)是用成对的训练数据训练的，而其他方法是在没有成对的训练数据的情况下训练的。
    • 另外，所提出的两种策略是互补的，当两种策略结合在一起时，我们最终的DASR方法比只采用其中一种策略的模型有显著的改进。

4.3 Comparison with State-of-the-Arts

  • Assumption 假设 similar characteristic 相似特征 exploit利用

  • 在这一部分中，我们将我们的方法与其他实际的超分辨方法进行了比较。相比较的方法有Zero-shot SR(ZSSR)、非配对方法用于超分辨率的频率分离方法 （FSSR）、以及循环生成对抗网络cycle-in-cycle generative adversarial networks(CinCGAN)。ZSSR在测试阶段使用Zero-Shot学习策略以适应特定图像的退化模型。FSSR是最近提出的非监督超分方法，还是AIM挑战赛真实世界超分ICCV2019的冠军。此外，我们还提供了预先训练的ESRGAN(记为P.T.ESRGAN)的结果，以供参考，预先训练的ESRGAN模型是在具有双三次下采样LR图像的合成数据集上训练的。表3显示了不同方法实现的量化指标，在图5中，我们还提供了一些不同方法的SR结果的可视化例子。量化指标和可视化例子清楚地表明，我们提出的DASR方法优于竞争模型。ZSSR和预训练ESRGAN的退化假设不能反映AIM挑战中采用的复杂退化，这两种方法在HR估计中都会产生奇怪的伪影。同时，FSSR方法生成更好的与真实图像特征相似的合成数据来训练模型，能够提供比ZSSR和预先训练的ESRGAN方法更好的SR结果。但是FSSR没有考虑生成的LR图像和真实LR图像之间的域间隙，仍然会在最终输出中产生伪影。新的DASR在训练阶段利用目标域中的信息，能够生成高质量的SR估计，具有视觉上令人愉快的纹理和较少的伪影 图5. 不同方法对2019年ICCV上AIM Challengeon Real World SR图像的测试结果

5. Experimental Results on Real-World Images

  • 在这一部分中，我们将在真实数据集上评估所提出的DASR模型。我们在两个真实的图像SR数据集上进行了实验：RealSR和CameraSR。这两个数据集包含通过调整数码相机焦距收集的真实LR-HR对。我们使用两个数据集的LR图像和DIV2K数据集中的HR图像来部署我们的非监督训练，并在具有配对数据的验证集上对我们的模型进行量化评估。

Experimental Results on RealSR Dataset

  • 作者利用佳能和尼康相机通过调整相机焦距收集595个真实的LR-HR对，并采用图像配准算法实现图像对的对齐。在我们的实验中，我们使用佳能相机收集的200张LR图像作为我们的真实LR图像，并使用DIV2K中的800张HR图像作为我们的HR图像。 我们用相同的数据训练我们的DASR模型以及FSSR和CinCGAN模型。经过无监督训练后，我们使用我们的模型在由100个LR-HR对组成的RealSR的验证集中对LR图像进行超分辨。由我们的模型和竞争方法生成的SR结果如表3所示。除了ZSSR、FSSR和预训练的ESRGAN外，我们还提供了监督训练的ESRGAN(记为S.T.ESRGAN)的结果以供参考，它利用训练集中的真实配对数据以完全监督的方式训练ESRGAN模型。DASR在LPIPS指数和MOS评分上都明显优于其他盲超分辨方法.与受监督的ESRGAN相比，DASR获得了与之相当的LPIPS indexes。图6中示出了通过不同方法的一些可视示例。Fig.6: SR results by different methods on testing images from RealSR.

5.2 Exoerimental Results on CameraSR

  • 生词： subset子集的子集

  • 我们还在CameraSR数据集上比较了不同的方法。CameraSR包含分别由iphoneX和Nikon相机捕获的100个LR-HR对。我们在iphoneX子集上测试了我们的方法。由于数据集中的LR和HR图像具有相同的空间大小，因此我们在框架和FSSR模型中去掉了下采样和上采样操作。与我们在RealSR数据集上的实验类似，我们使用Cam-eraSR训练集中的100幅LR图像和DIV2K中的800幅HR图像来训练我们的模型和FSSR。我们的模型和FSSR的SR结果如表3所示。DASR的性能大大优于FSSR。可视示例如图7所示：

6. Conclusions

  • 我们提出了一种新的无监督真实世界图像SR的DASR框架。在给定未配对数据的情况下，DASR首先训练下采样网络以生成真实世界LR分布中的合成LR图像，然后，利用生成的合成对和真实的LR图像来训练域自适应环境下的SR网络。为了更好地利用源域中的合成数据，我们提出了一种域间隙感知训练策略来引入目标域中的对抗性损失，以及一种域距离加权监督策略。我们在合成数据集和真实数据集上的实验结果证明了我们的方法对于真实世界SR的有效性。

Unsupervised Real-world Image Super Resolution via Domain-distance Aware Training相关推荐

  1. Google Pixel 超分辨率--Super Resolution Zoom

    Google Pixel 超分辨率–Super Resolution Zoom Google 的Super Res Zoom技术,主要用于在zoom时增强画面细节以及提升在夜景下的效果. 文章的主要贡 ...

  2. CV之SR：超分辨率(Super resolution)的简介、使用方法、案例应用之详细攻略

    CV之SR:超分辨率(Super resolution)的简介.使用方法.案例应用之详细攻略 目录 超分辨率(Super resolution)的简介 超分辨率(Super resolution)的使 ...

  3. 论文翻译：2019_Speech Super Resolution Generative Adversarial Network

    博客作者:凌逆战 论文地址:基于GAN的音频超分辨率 博客地址:https://www.cnblogs.com/LXP-Never/p/10874993.html 论文作者:Sefik Emre Es ...

  4. 论文翻译：Speech Super Resolution Generative Adversarial Network

    博客作者:凌逆战 论文地址:https://ieeexplore.ieee.org/document/8682215 博客地址:https://www.cnblogs.com/LXP-Never/p/ ...

  5. 【Super Resolution】超分辨率——SRCNN

    SRCNN 01 闲聊--图像的超分辨率 02 SRCNN--超分和DL的结合 02-1 双三次插值 02-2 SRCNN的网络结构 02-3 Training 训练阶段 03 EXPERIMENTS ...

  6. Wavelet-SRNet: A Wavelet-based CNN for Multi-scale Face Super Resolution

    Wavelet-SRNet: A Wavelet-based CNN for Multi-scale Face Super Resolution 2017 ICCV 1.引言 2.网络结构 3.损失函 ...

  7. Unfolding the Alternating Optimization for Blind Super Resolution

    Unfolding the Alternating Optimization for Blind Super Resolution 论文信息 Paper: [NeurIPS2020] Unfoldin ...

  8. (NIPS2020)Unfolding the Alternating Optimization for Blind Super Resolution 笔记

    (NIPS2020)Unfolding the Alternating Optimization for Blind Super Resolution https://github.com/great ...

  9. 漫谈深度学习在Super Resolution（超分辨率）领域上的应用

    1.前言 清晨,师兄推荐给我一篇文章,关于利用DeepLearning思想进行图像超分辨恢复的.超分辨这个话题几年之前还是比较火爆的,无论是BiCube.SP.A*都给出了令人振奋的结果.但是细节恢复 ...

最新文章

  1. 酒店中计算机信息应用的重要性,浅析计算机在酒店管理中所体现的应用价值
  2. k-means优化 k-means距离的选择 k-medoids对比
  3. 网站被黑你隔了多久才知道？
  4. oracle数据库迁移 增大空间,Oracle数据库迁移、创建表空间、创建数据表实例讲解-Oracle...
  5. 菲波那契数列（信息学奥赛一本通-T1201）
  6. matlab磁铁模拟,用matlab-模拟环形磁铁的磁场分布
  7. python中for用法_python中for的用法探索
  8. 对离散点进行积分的python程序实现_Stochastic Calculus(Python)(四)
  9. arcgis for android 调用公网天地图注记重影问题
  10. 算法：凸多边形最优三角剖分
  11. 【本科毕业设计】基于单片机的智能家居防火防盗报警系统
  12. 裸眼3d项目，数字平原是这样制作的
  13. input框监听输入法输入中文
  14. iOS 9-iPhone6s-iPadmini4企业证书信任
  15. Github项目分享——tabby
  16. Broadcast Receiver(一)
  17. 不讲武德！为击破苹果的“隐私高墙”，谷歌、Facebook 竟然“二打一”？
  18. java 小工 到_测试小工——从0到1搭建最简单的Linux网站
  19. 【Angular】Angular开发组件
  20. MBus协议详解（一）

热门文章

  1. vue axios 请求不带cookie问题
  2. 道路交通安全相关企业
  3. simulink报错解决：xxx is not connected
  4. python面试宝典1
  5. L1-039 古风排版 C语言版
  6. USB 4种充电类型
  7. 什么样的人不适合做管理者
  8. 肖申克的救赎--剧本
  9. 关于虚拟机“Could not rrad from the boot medium“解决方法
  10. 首席新媒体黎想教程：短视频运营方法