【图像超分辨率】Remote Sensing Imagery Super Resolution Based on Adaptive Multi-Scale Feature Fusion Network

对于遥感图像的超分辨率，本文提出了一种自适应多尺度特征融合网络（AMFFN）。 AMFFN 可以直接从原始低分辨率图像中提取密集特征，而无需任何图像插值预处理。串联几个自适应多尺度特征过滤块（AMFE），以自适应地提取遥感图像的高频详细特征信息。AMFFN 的主要贡献包括：

针对遥感图像的超分辨率引入了一种自适应多尺度特征融合网络，可以自适应地提取多尺度特征信息；
集成了挤压激励模块（Squeeze-and-Excited，SE）和自适应门控单元（Adaptive Gating Unit），用于特征提取和融合，可以学习特征图的通道相关性，自适应地确定应保留多少先前特征信息，减少冗余特征信息中间的多尺度特征，并增强了有用特征信息的使用。

首先介绍了自适应多尺度特征融合网络的整体结构，然后详细介绍了网络结构中更加细节的设计。

自适应多尺度特征融合网络（AMFFN）的网络结构主要分为四个部分：

原始特征提取（original feature extraction）
自适应多尺度特征提取（adaptive multi-scale feature extraction，AMFE）
特征融合（feature fusion）
图像重建（image reconstruction）

自适应多尺度特征提取是本文算法的核心模块，它由若干个自适应多尺度特征过滤块（AMFB）串联而成，主要用于完成遥感图像高频细节特征信息的自适应提取。

上图中网络输入为待重建的低分辨率遥感图像LR，HR为重建的高分辨率遥感图像。为保证计算效率，图像特征的提取和融合均在LR上进行。首先将带0n 个卷积核的卷积层conv 应用于输入图像，以生成一组特征图，具体操作如下：

式中，A 作为从低分辨率遥感图像中提取原始特征，w 对应于卷积层中的滤波器，这里为 128 个空间大小为 3×3 的卷积核，0b 表示卷积层的偏置，而’*'表示卷积运算。
在自适应多尺度特征提取部分，假设这里部分包含有 n 个自适应多尺度提取块（AMFE），那么第 i 个 AMFE 可以表示为：
、
其中，fMFE表示多尺度特征提取操作，g(.) 表示自适应特征门控操作，AMFE 是自适应特征提取的基础模块，它是由多尺度特征提取（multi-scale feature extraction， MFE）单元和特征门控组成，用于自适应地保留来自前一个 AMFE 模块的特征信息。通过特征提取，可以获得一系列特征图，对于这些特征图，包含大量的冗余信息，如果直接将其用于图像重建，则会大大增加计算负担。因此，在将这些用于超分辨率的特征输入到重建层之前，将特征融合层设置在 n 个AMFE 之后以进行特征融合和降维。特征融合层fusionA 的输出公式为：

上式中，w 对应特征融合层的权重，代表了 64 个尺寸为 1×1 的卷积核，b 是对应的偏差，并且[ , , , ]表示由第一特征提取层 conv 和 AMFE 提取的所有特征图的并联。
在最后图像重建部分与许多基于 CNN 的方法一样，采用亚像素卷积（sub-pixelconvolution）[35]的方法来重建高分辨率遥感图像。重建层的数学表达可以定义如下：

【图像超分辨率】Remote Sensing Imagery Super Resolution Based on Adaptive Multi-Scale Feature Fusion Network相关推荐

学习笔记之——基于深度学习的图像超分辨率重建
最近开展图像超分辨率( Image Super Resolution)方面的研究,做了一些列的调研,并结合本人的理解总结成本博文~(本博文仅用于本人的学习笔记,不做商业用途) 本博文涉及的paper已 ...
基于深度学习的图像超分辨率重建
最近开展图像超分辨率( Image Super Resolution)方面的研究,做了一些列的调研,并结合本人的理解总结成本博文~(本博文仅用于本人的学习笔记,不做商业用途) 本博文涉及的paper已 ...
【图像超分辨率】Remote Sensing Image Super-resolution: Challenges and Approaches
Remote Sensing Image Super-resolution: Challenges and Approaches 遥感图像超分辨率的挑战和方法 1 摘要 2 遥感观测模型 3 遥感中 ...
深度学习（6）：图像超分辨率（Image Super Resolution）重建
目标:使用深度学习技术对图像进行超分辨率重建,涉及到的技术包括卷积神经网络,生成对抗网络,残差网络等. 技术:本实验使用到"Jupyter Notebook"等开发组件,涉及到了& ...
基于Python的图像超分辨率（Image Super Resolution）
资源下载地址:https://download.csdn.net/download/sheziqiong/85596189 一.业务背景本实验将使用时深度学习技术对图像进行超分辨率重建,设计到的技术 ...
《Foreground-Aware Relation Network for Geospatial Object ......Remote Sensing Imagery》
论文阅读笔记:<Foreground-Aware Relation Network for Geospatial Object Segmentation in High Spatial Reso ...
深度学习（二十）——Ultra Deep Network, 图像超分辨率算法
http://antkillerfarm.github.io/ Ultra Deep Network FractalNet 论文: <FractalNet: Ultra-Deep Neural ...
【图像超分辨率】MSAN:Scene-Adaptive RS Img SR a Multiscale Attention
MSAN:Scene-Adaptive Remote Sensing Image Super-Resolution Using a Multiscale Attention Network 摘要 I ...
【图像超分辨率】SR for RS via Local–Global Combined Network
Super-Resolution for Remote Sensing Images via Local–Global Combined Network 摘要 I. 引言 II. 方法 A. 用于超分 ...

【图像超分辨率】Remote Sensing Imagery Super Resolution Based on Adaptive Multi-Scale Feature Fusion Network

【图像超分辨率】Remote Sensing Imagery Super Resolution Based on Adaptive Multi-Scale Feature Fusion Network相关推荐

最新文章

热门文章