【文献阅读2020】像素级自适应学习的超分辨率Pixel-Level Self-Paced Learning For Super-Resolution

原文链接
github

摘要：近年来，基于深度网络的预测超分辨率图像在多个图像领域得到了广泛的应用。然而，随着这些网络的构建越来越深入，它们的训练时间也越来越长，这可能会引导学习者进行局部优化。为了解决这一问题，本文设计了一种像素级自适应学习(PSPL,PIXEL-LEVEL SELF-PACED LEARNING)训练策略来加速SISR模型的收敛速度。PSPL模拟自定步长学习，将预测的SR图像中的每个像素及其对应的ground truth中的像素赋予一个注意权值，引导模型在参数空间中找到一个更好的区域。大量的实验证明，PSPL可以加速SISR模型的训练，并促使现有的几个模型获得新的更好的结果。

总结： 这篇文章不是提出一个崭新的单张图像超分辨率模型，而是提出一个加速训练原有单张图像超分辨率模型的手段。 文章认为，之前的SRCNN、SRResNet、EDSR等模型确实有很好的表现，但是它们太大、太复杂，无法有效的训练（图1）他们可能会在训练上花费更多的时间；而且，有些模型即使训练了很长时间，也可能没有产生更好的结果。

博主认为，如果说其他超分辨率模型致力于前向传播的网络结构搭建，也就是如何学习从LR到SR的映射；那么，这篇文章关注点在于根据其他模型训练好的SR，如何利用SR和HR的关系来进行决定下一步的训练，即训练策略的问题。

不同于以往根据SR和HR，往往直接计算loss，然后进行反向传播，作者设计一个训练策略来加速这些模型的训练速度，进一步增强它们的反向传播性能 。

这篇文章提出了一个叫做 像素级自适应学习(PSPL) 的训练策略。其中每个样本都有一个学习权值，引导学习者学习更有效的特征，更快的收敛，更好的泛化。实际上，本文介绍的就是每次训练之后得到的SR和HR，先进行了一系列处理，然后再计算loss。 博主认为，这篇文章讲的是一种训练策略，这个过程并不在前向传播中。换句话说，文章是通过改变每次训练后的HR和SR，来改变loss的值，进一步影响反向传播中模型参数的变化的。

图2说明了PSPL如何切断和重新安排数据流。为了便于学习，每个训练阶段分为以下四个步骤。在给定LR图像和HR图像的情况下：
1.首先通过模型预测SR图像。
2.然后根据SR和HR图像生成相似度图（similarity map）。
3.再次，在相似度图的基础上生成注意图（attention map），注意图对这些差异较大的像素对给予了更多的注意。
4.最后，通过注意图与原始SR(HR)图像的逐项相乘得到新的SR(HR)图像，并在计算损耗时将原始SR(HR)图像替换为新的SR(HR)图像，从而影响SISR模型的优化。此外，在整个训练过程中，随着训练步骤的增加，注意图中的所有值都将趋近于一个常数，这意味着PSPL在整个训练过程中的效用逐渐降低。

PSPL的名称来自两个方面。一是随着训练时间的延长，所有注意力的重量逐渐降低，这与自主学习增加学习对象难度的过程相似;另一种是PSPL为图像中的每个像素分配注意权值，这与传统的样本级自定步长学习中为样本分配权值不同。

上面的四点具体步骤如下：

设SR代表超分辨率结果，和HR同尺寸。
1.学习LR到HR的映射F，得到SR（也就是前人提出的SISR方法）；
2.根据SR和HR图像生成相似度图（similarity map）。
(1)SR和HR对应的 patches(psp_sps，php_hph)分别和圆对称高斯权重矩阵（a circular-symmetric Gaussian weighting matrix）做点乘（element-wise multiplication），得到 ps^\hat{p_s}ps^ , ph^\hat{p_h}ph^ ；

(2)根据ps^\hat{p_s}ps^ , ph^\hat{p_h}ph^ 的均值、方差，根据SSIM计算公式得到每个patch的 msm_sms，然后得到整张图片的 MsM_sMs .
CCC里的两个参数k1k_1k1 k2k_2k2是人工设置的
使用SSIM的好处：

首先，SSIM是一种基于感知的准则，它在空间上是平稳的。其次，SSIM能够利用其相邻像素值，使其与绝对差异相比较更稳定

。

3.生成注意力图Attention Map

由 MsM_sMs经过一个高斯函数G，产生 MaM_aMa ：
这个高斯函数的三个参数 γ\gammaγ μ\muμ δ\deltaδ分别代表峰值大小峰值的位置和宽度。在PSPL中，G更多地关注具有较小相似性的这些像素对. 这些参数是人工选择的。这些参数在训练过程中都是常数。

下面是某个patch的输入SSIM指数（msm_sms）和输出Attention Map（mam_ama）以及训练阶段的变化图:

4.Loss function

将Attention Map（MaM_aMa）分别和SR HR做点乘（Fig2 绿色实线），对得到的两个结果做Loss。

由于MsM_sMs到 MaM_aMa 只是为了得到新的SR，HR来计算Loss，不在SISR网络内部，因此这一过程不参与反向传播，只是用于训练中。毕竟前面已经强调了，这篇文章讲的是一种训练策略，这个过程并不在前向传播中。换句话说，文章是通过改变HR和SR，来改变loss的值，进一步影响反向传播中模型参数的变化的。

结果

不同模型下，是否应用该训练策略的效果对比：

【文献阅读2020】像素级自适应学习的超分辨率Pixel-Level Self-Paced Learning For Super-Resolution相关推荐

文献阅读总结：网络表示学习/图学习
本文是对网络表示学习/图学习(Network Representation Learning / Graph Learning)领域已读文献的归纳总结,长期更新. 朋友们,我们在github创建了一个 ...
文献阅读（72）WWW2022-TREND: TempoRal Event and Node Dynamics for Graph Representation Learning
本文是对<TREND: TempoRal Event and Node Dynamics for Graph Representation Learning>一文的总结,如有侵权即刻删除. ...
黄浴：基于深度学习的超分辨率图像技术发展轨迹一览
作者 | 黄浴转载自知乎导读:近年来,使用深度学习技术的图像超分辨率(SR)取得了显著进步.本文中,奇点汽车自动驾驶首席科学家黄浴对基于深度学习技术的图像超分辨率技术进行了一次全面的总结,分析了这 ...
SRZoo--深度学习图像超分辨率工具
点击上方"算法猿的成长",关注公众号,选择加"星标"或"置顶" 总第 145 篇文章,本文大约 2100 字,阅读大约需要 7 分钟前言 ...
工业检测：基于密集尺度特征融合像素级不平衡学习框架（论文下载）
关注并星标从此不迷路计算机视觉研究院公众号ID|ComputerVisionGzq 学习群|扫码在主页获取加入方式论文地址:https://arxiv.org/pdf/2203.09387v1 ...
深度学习在超分辨率重建上的应用SRCNN,FSRCNN,VDSR,DRCN,SRGAN
超分辨率技术(Super-Resolution)是指从观测到的低分辨率图像重建出相应的高分辨率图像, 目前应用较多的应用场景是图像及视频分辨率提高,比如可以提高以往影视作品或图像的分辨率,提高视觉感官 ...
普通视频转高清：10个基于深度学习的超分辨率神经网络
原文:http://www.tinymind.cn/articles/1176 在 AlphaGo 对弈李世石.柯洁之后,更多行业开始尝试通过机器学习优化现有技术方案.其实对于实时音视频来讲,对机器学 ...
深度学习图像超分辨率最新综述：从模型到应用
点击我爱计算机视觉标星,更快获取CVML新技术今日arXiv新上论文<Deep Learning for Image Super-resolution:A Survey>,详细回顾了近年 ...
基于深度学习的超分辨率综述
1.单图像超分辨率重建 SISR方法框架由两部分组成,非线性映射学习和上采样模块. 非线性映射学习模块负责完成LR到HR的映射,这过程中利用损失函数引导和监督学习的进程:上采样模块实现重建图像的放大, ...

【文献阅读2020】像素级自适应学习的超分辨率Pixel-Level Self-Paced Learning For Super-Resolution

结果

【文献阅读2020】像素级自适应学习的超分辨率Pixel-Level Self-Paced Learning For Super-Resolution相关推荐

最新文章

热门文章

【文献阅读2020】 像素级自适应学习的超分辨率Pixel-Level Self-Paced Learning For Super-Resolution

结果

【文献阅读2020】 像素级自适应学习的超分辨率Pixel-Level Self-Paced Learning For Super-Resolution相关推荐

最新文章

热门文章

【文献阅读2020】像素级自适应学习的超分辨率Pixel-Level Self-Paced Learning For Super-Resolution

【文献阅读2020】像素级自适应学习的超分辨率Pixel-Level Self-Paced Learning For Super-Resolution相关推荐