Multi-level Feature Fusion Networks with Adaptive Channel Dimensionality Reduction for Remote Sens

基于自适应信道降维的多级特征融合网络用于遥感场景分类

由于高分辨率遥感图像内容复杂多样，对其进行分类是一项具有挑战性的工作。最近，卷积神经网络(CNNs)被用来解决这一任务。然而，由于VHR图像中存在杂波和小目标，cnn不能完全满足场景分类的需要。为了解决这些问题，本文提出了一种新的自适应信道降维的多级特征融合网络用于遥感场景分类。针对高维特征，设计了一种自适应信道降维方法。在此基础上，引入多级特征融合模块，实现了特征的高效融合。在三个广泛使用的数据集上的实验表明，我们的模型在精度和稳定性方面优于几种先进的方法。

主要贡献：

1)提出了一种充分利用深度卷积神经网络多层次特征的自适应通道降维多级特征融合网络(ACR-MLFF)，用于遥感场景分类。

2)提出了一种自适应信道降维(ACR)模块，解决了1× 1卷积信道降维带来的信息丢失问题。它包含一个用于降维的主干分支和两个用于增强通道注意和补充语义信息的侧分支。自适应是通过顶部分支的通道注意计算来重新加权特征来实现的。

3)设计了多级特征融合(MLFF)模块，将多级特征和自适应信道缩减特征结合起来，对复杂场景进行分类。

图2给出了本文提出的遥感场景分类方法的总体架构。可以看出，该方法主要由4个模块组成:1)采用预训练的ResNet-50模型进行多级特征提取;2) ACR;3) MLFF;4)采用softmax分类器进行场景分类。这个框架的细节如下所述。

A .多层次特征提取

本文选择ResNet-50作为特征提取器，因为ResNet-50具有很强的从不同层次提取特征的能力，例如浅层提取基本特征，高层提取复杂特征，避免了反向传播过程中梯度消失的影响。在ResNet-50的特征提取过程中，一般将生成相同大小特征图的层定义为一个阶段，共分为五个阶段，如图2所示。因为“Stage 1”只包含一个大小为7 *7的卷积层，所以我们不使用它的输出作为多级特征。在第2~5阶段，我们得到了 C2、C3、C4、C5级特征，信道数分别为256、512、1024和2048。

B。ACR

在ResNet-50模型中，我们收集了多层次的特性。然后构造ACR进行自适应信道降维，如图3所示，ACR由三个分支组成:一个主干分支(即中间分支)和两个侧分支(即顶部和下分支)。

1) 中间分支:给定降维之前的特征图谱 $X\epsilon \mathbb{R}^^{H\times W\times C}$ ，H, W和C代表特征图谱的高度、宽度和通道尺寸,我们执行一次1×1卷积得到 $R_{1}\epsilon \mathbb{R}^^{H\times W\times C{}'}\left ( C'<C \right )$ ,如下所示:

$R_{1} = \delta \left ( G_{conv1\times 1} \left ( X \right )\right )$

其中，R1表示具有低维通道的特征映射， $G_{conv1\times 1}$ 表示核大小为1× 1的二维(2-D)卷积， $\delta$ 表示校正线性单元(ReLU)激活函数。

2) Top Branch：这个分支是为了增加减少特征R1的通道注意而设计的。这个想法是受到SENet[11]中的压缩操作的启发，该操作利用全局嵌入信息来建模信道关系，并在信道级上调制特征映射。通过解耦通道之间的关系，可以产生通道注意，这种注意有利于强调通道维度中的信息特征，抑制不太有用的特征。

首先，我们采用全局平均池(GAP)生成每个通道维数的全局特征。我们将特性映射X重写为：

其中为第k个通道的特征图。池化操作可以表示为：

池化操作完成后，将得到的结果进行堆叠，生成X的全局池化结果 $Z\epsilon \mathbb{R}^{c}$ ：

然后，通过一个全连接(FC)层计算通道的注意力 $Z\epsilon \mathbb{R}^{c{}'}$ 。计算出的注意力非常类似于循环神经网络的门机制。它利用FC中的参数W来生成注意，即每个特征通道降维后的权重。我们将此过程表述为:

其中 $Z\epsilon \mathbb{R}^{c{}'}$ 是注意向量， $\sigma$ 表示Sigmoid激活函数，而 $W\epsilon \mathbb{R}^{c\times c{}'}$ 被学习用于显式地建模通道之间的相关性。

第三，利用注意力Z，反映每个特征通道的重要性，中间分支的feature maps R1可以在通道维度上重新加权:

其中 $R_{2} \epsilon \mathbb{R}^^{H\times W\times C{}'}$ 表示通道注意力增强特征图， $\bigotimes$ 表示元素级乘法。

3) Down Branch: Down Branch可以看作是计算显著性映射，进一步提取特征信息，并在空间维度上补偿降维后丢失的信息。

首先，对输入特征映射X进行3× 3卷积，生成具有低维通道的特征映射 $D\epsilon \mathbb{R}^^{H\times W\times C{}'}$ ：

其次，D中的信息用于补充R2的语义信息。ACR的最终输出由：

C. MLFF

将ACR应用于C3、C4和C5，可以得到A3、A4和A5的多级自适应信道特征映射。考虑到这些特征图的空间分辨率不同，我们采用全局平均池化对A3、 A4、 A5和 C2的大小进行空间归一化。这种池化操作可以有效地保留显著性特征，保持特征映射的方向不变性，降低特征映射的空间维数，以便更好地进行分类。

然后，将全局平均池化处理后的特征用拼接法融合:

Concat指的是连接操作和M是多层次的融合特性,将美联储为最后一幕将Softmax分类器分类。

Multi-level Feature Fusion Networks with Adaptive Channel Dimensionality Reduction for Remote Sens相关推荐

Adaptive Deconvolutional Networks for Mid and High Level Feature Learning（阅读）
Adaptive Deconvolutional Networks for Mid and High Level Feature Learning(阅读) Matthew D. Zeiler, Gra ...
【图像超分辨率】Remote Sensing Imagery Super Resolution Based on Adaptive Multi-Scale Feature Fusion Network
对于遥感图像的超分辨率,本文提出了一种自适应多尺度特征融合网络(AMFFN). AMFFN 可以直接从原始低分辨率图像中提取密集特征,而无需任何图像插值预处理.串联几个自适应多尺度特征过滤块(AMFE ...
论文阅读：AF2S3Net:Attentive Feature Fusion with Adaptive Feature Selection for Sparse Semantic
题目:(AF)2-S3Net: Attentive Feature Fusion with Adaptive Feature Selection for Sparse Semantic Segment ...
Feature Pyramid Networks for Object Detection 总结
最近在阅读FPN for object detection,看了网上的很多资料,有些认识是有问题的,当然有些很有价值.下面我自己总结了一下,以供参考. 1. FPN解决了什么问题? 答: 在以往的fa ...
Feature Pyramid Networks for Object Detection论文翻译——中英文对照
文章作者:Tyan 博客:noahsnail.com | CSDN | 简书声明:作者翻译论文仅为学习,如有侵权请联系作者删除博文,谢谢! 翻译论文汇总:https://github.com ...
目标检测--Feature Pyramid Networks for Object Detection
CVPR2017 Feature Pyramid Networks for Object Detection https://arxiv.org/abs/1612.03144 Code will be ...
Python编程基础：第四十二节多重继承Multi Level Inheritance
第四十二节多重继承Multi Level Inheritance 前言实践前言我们之前已经讲过继承的相关知识,当一个类是另一个类的父类,而此时这里的子类又是另一个类的父类,那此时就涉及多重继承 ...
深度学习之 FPN (Feature Pyramid Networks)
论文题目:Feature Pyramid Networks for Object Detection 论文链接:https://arxiv.org/abs/1612.03144 论文代码:Caffe版 ...
《Feature Pyramid Networks for Object Detection》论文阅读笔记
FPN 很多论文中都会采用含有FPN的backbone进行特征提取,因为FPN使用特征金字塔结构,将low-level的特征和high-level的特征进行融合,能提取更加准确的位置等特征信息. 所以 ...

Multi-level Feature Fusion Networks with Adaptive Channel Dimensionality Reduction for Remote Sens

基于自适应信道降维的多级特征融合网络用于遥感场景分类

Multi-level Feature Fusion Networks with Adaptive Channel Dimensionality Reduction for Remote Sens相关推荐

最新文章

热门文章