2020-Single Image Super-Resolution via a Holistic Attention Network(HAN)

基本信息

作者： Ben Niu; Weilei Wen; Wenqi Ren, Xiangde Zhang, Lianping Yang;Shuzhen Wang, Kaihao Zhang, Xiaochun Cao, and Haifeng Shen
期刊： ECCV2020
引用： *
摘要： 信息性特征在单幅图像的超分辨率任务中起着至关重要的作用。通道注意力已被证明可以有效地保留每一层的信息丰富的特征。然而，通道注意将每个卷积层作为一个单独的过程，而忽略了不同层之间的关联性。为了解决这个问题，我们提出了一个新的整体注意网络（HAN），它由一个层注意模块（LAM）和一个通道空间注意模块（CSAM）组成，用来模拟层、通道和位置之间的整体相互依赖关系。特别是，拟议的LAM通过考虑各层之间的相关性，自适应地强调层次特征。同时，CSAM学习每个通道的所有位置的条件，以选择性地捕获更多的信息特征。广泛的实验表明，所提出的HAN与最先进的单幅图像超分辨率方法相比，表现得很好。

1.简介

基于CNN的方法主要归功于两个方面
非常深的层的网络：有更大的接受域，具有能力来学习LR输入和HR对应之间的复杂映射关系
残差学习：SR网络的深度会越来越深，因为残差学习可以有效地缓解梯度消失和爆炸的问题

目前超分存在的问题：但是由于现有的大多数基于CNN的SR方法忽略了中间层的特征相关性，LR图像的纹理细节往往在超分辨率的结果中被平滑化。因此，在SR任务中，生成详细的纹理仍然是一个非艰巨的问题。虽然通过使用通道注意力得到的结果保留了一些细节信息，但这些基于通道注意力的方法在保留信息纹理和恢复自然细节方面很困难，因为它们平等地对待不同层的特征图，导致在重建的图像中损失了一些细节部分。
RCAN存在的局限：不能对来自多尺度层的特征进行加权。特别是来自浅层的长期信息很容易被削弱。尽管浅层特征可以通过跳过连接进行回收，但在长跳过连接后，它们与深层特征在各层中被同等对待，因此阻碍了CNN的表示能力。
本文对RCAN的改进：我们考虑在层次上探索特征之间的相互关系，并提出了一个层注意模块（LAM）。另一方面，通道注意忽略了每个特征图中不同位置的重要性。因此，我们还提出了一个通道-空间注意模块（CSAM），以协同提高所提出的SR网络的识别能力。

本文的贡献：

提出了一种新的超级分辨率算法，名为整体注意力网络（HAN），它增强了超级分辨率的特征表征的表示能力。
我们引入了一个层注意模块（LAM），通过考虑多尺度层的相关性来学习分层特征的权重。同时，我们提出了一个通道-空间注意模块（CSAM）来学习各层特征的通道和空间的相互依赖性。
所提出的两个注意力模块通过对分层、通道和位置之间的信息特征进行建模，协同改善SR的结果。广泛的实验表明，我们的算法与最先进的SISR方法相比表现良好。

2.相关工作

基于深度学习的超分辨：SRCNN，DRCN，DRRN，LapSRN，EDSR，SRGAN，SRNTT等
注意力机制：RCAN、CBAM（其他领域）、MAM、SAN等

3.HAN模型

3.1.网络结构

网络结构：特征提取——LAM（层注意模块）——CSAM（通道注意模块）——重建模块

HAN模型整体框架
LAM模块框架

学习不同深度特征之间的关系，提高特征表示能力

CSAM模块框架
提取强大的表示信息，以描述连续通道中的通道间和通道内的信息。

4.实验

4.1.基本设置

训练集：DIV2K
测试集：Set5，Set14，B100，Urban100，Mega109
退化模型：BD模型和BI模型
PSNR计算方式：YCbCr
使用RCAN的预训练模型初始化整体的注意力网络，Patch=64

4.2.LAM和CSAM的消融研究

仅使用LAM和仅使用CSAM相比于RCAN均有提升，且两个模块均使用提升更多。

4.3.不同数量的残差组的消融性研究

使用更少的RGs仍然比RCAN效果更好。

4.4.CSAM数量的消融研究

更多数量的CSAM会达到更优的效果

4.5.BI模型的结果

4.6.BD模型的结果

以上两部分的结果见原文

5.结论

在本文中，我们提出了一种用于单图像超分辨率的整体注意力网络，该网络使用自注意力机制自适应地学习不同深度、通道和位置之间的全局相关性。具体来说，层关注模块（LAM）捕获分层层之间的长距离依赖关系。同时，频道空间注意模块（CSAM）将频道和上下文信息合并到每个层中。这两个注意力模块协同应用于多层次特征，然后可以捕获更多信息性特征。在基准数据集上的大量实验结果表明，所提出的模型在准确性和视觉质量方面优于最先进的SR算法。

代码实现

https://github.com/wwlCape/HAN

个人总结

本文是对RCAN注意力机制的继承和发展

【图像超分辨率重建】——HAN论文精读笔记相关推荐

学习笔记之——基于深度学习的图像超分辨率重建
最近开展图像超分辨率( Image Super Resolution)方面的研究,做了一些列的调研,并结合本人的理解总结成本博文~(本博文仅用于本人的学习笔记,不做商业用途) 本博文涉及的paper已 ...
基于深度学习的图像超分辨率重建
最近开展图像超分辨率( Image Super Resolution)方面的研究,做了一些列的调研,并结合本人的理解总结成本博文~(本博文仅用于本人的学习笔记,不做商业用途) 本博文涉及的paper已 ...
图像超分辨率重建之SRCNN
新版本请访问简书链接:https://www.jianshu.com/p/dfe85a3c2096 图像超分辨率重建:指通过低分辨率图像或图像序列恢复出高分辨率图像.高分辨率图像意味着图像具有更多的细 ...
基于SRGAN实现图像超分辨率重建或复原
基于SRGAN实现图像超分辨率重建或复原 2018年04月20日 11:50:26 山水之间2018 阅读数 14064 文章标签: SRGAN图像超分辨率重建更多分类专栏: 深度学习图像处理 ...
【数字图像处理3 】（上）图像超分辨率重建（SR）概述
图像超分辨率重建一.前言(废话时间) 二.扫盲知识什么是超分辨率重建? 兴起原因三.传统超分辨率重建 1.基于插值的超分辨率重建 2.基于退化模型的超分辨率重建 3.基于学习的超分辨率重建四 ...
图像超分辨率重建算法，让模糊图像变清晰(附数据和代码)
一. 图像超分辨率重建概述 1. 概念图像分辨率是一组用于评估图像中蕴含细节信息丰富程度的性能参数,包括时间分辨率.空间分辨率及色阶分辨率等,体现了成像系统实际所能反映物体细节信息的能力.相较于低 ...
PANet：基于金字塔注意力网络的图像超分辨率重建（Pytorch实现）
PANet:基于金字塔注意力网络的图像超分辨率重建 [!] 为了提高代码的可读性,本文模型的具体实现与原文具有一定区别,因此会造成性能上的差异文章目录 PANet:基于金字塔注意力网络的图像超分辨率 ...
一文掌握图像超分辨率重建（算法原理、Pytorch实现）——含完整代码和数据
目录一. 图像超分辨率重建概述 1. 概念 2. 应用领域 3. 研究进展 3.1 传统超分辨率重建算法 3.2 基于深度学习的超分辨率重建算法二. SRResNet算法原理和Pytorch实 ...
超分辨率——基于SRGAN的图像超分辨率重建(Pytorch实现)
基于SRGAN的图像超分辨率重建本文偏新手项,因此只是作为定性学习使用,因此不涉及最后的定量评估环节目录基于SRGAN的图像超分辨率重建 1 简要介绍 2 代码实现 2.1 开发环境 2.2 主 ...
【毕业设计】基于深度学习的图像超分辨率重建 - opencv python cnn
文章目录 0 前言 1 什么是图像超分辨率重建 2 应用场景 3 实现方法 4 SRResNet算法原理 5 SRCNN设计思路 6 代码实现 6.1 代码结构组织 6.2 train_srresne ...

【图像超分辨率重建】——HAN论文精读笔记