摘要

本文提出了一种端到端的特征融合注意网络（FFA-Net），用于直接恢复无雾图像。FFA网络体系结构由三个关键组成部分组成：
1）针对不同通道的特征包含完全不同的加权信息，并且雾度在不同的图像像素上分布不均匀这个问题，提出了一种新的特征注意力（FA）模块，将Channel Attention与Pixel Attention 机制相结合。FA不平等地处理不同的特征和像素，这为处理不同类型的信息提供了额外的灵活性，扩展了CNNs的表示能力。

2）基本的块结构由local Residual Learning 和特征注意力（FA）模块组成，local Residual Learning 允许通过多个local residual connections来跳过薄雾区或低频等不太重要的信息，让主网络结构专注于更有效的信息。

3）基于注意力的不同级别的特征融合（FFA）结构，可以从特征注意力（FA）模块中自适应学习特征权重，从而为重要特征赋予更多权重。这种结构还可以保留浅层信息，并将其传递到深层。

网络结构

该网络是主要由三组Group structure组成的，而Group structure又是由N个basic block strcture以及skip connection组成的，如上图所示。

basic block strcture由文章所提出的特征注意力模块FA（即，Channel Attention (CA) 和Pixel Attention (PA)），再加上卷积和relu等基本操作组成，如下图所示：

这个特征注意力模块FA，是由Channel Attention (CA) 和Pixel Attention (PA)组成的，如下图所示：

特征注意力模块

Channel Attention（CA）主要关注不同的频道特征具有完全不同的加权信息（基于DCP）。首先，我们使用全局平均池将逐通道的全局空间信息引入通道描述符：

其中Xc（i，j）代表第c个通道Xc在位置（i，j）处的值，Hp是全局池化函数。 Feature map的形状从C×H×W变为C×1×1。为了获得不同通道的权重，features随后还要经过两个卷积层和sigmoid以及ReLu激活函数的处理：

其中， σ 代表sigmoid， δ 代表relu激活函数。

最后，将输入F_c与通道CA_c的权值进行逐元素相乘。
Pixel Attention (PA)，针对雾度在图像上分布不均匀这个问题，提出了一种像素注意（PA）模块，以使网络更加关注信息特征，例如浓雾像素和高频图像区域。

与CA类似，将输入F^∗（CA的输出）直接输入到两个带有ReLu和sigmoid激活函数的卷积层中。shape由C×H×W变为1×H×W。
我们对输入F*和PA逐元素相乘，得到F~，也就是Future Attention（FA）模块的输出。

为了直观地说明特征注意（FA）机制的有效性，我们打印了“组结构”输出的通道级和像素级特征权重图。我们可以清楚地看到，不同的特征映射在不同的权值下被自适应地学习。图4显示出了浓雾图像区域以及物体的边缘和纹理具有较大权重。像素注意（PA）机制使FFA-Net更加关注高频和浓密像素区域。图5显示了一个3×64尺寸的图，其中三行对应于通道方向上输出的三个组体系结构的特征图权重，该图显示了不同的特征自适应地学习了完全不同的权重。
Group Architecture and Global Residual Learning
我们的组架构将N个basic blocks与skip connections 模块结合在一起。连续的basic blocks增加了FFA-Net的深度和表达能力。 skip connections使FFA-Net应对训练问题。在FFA-Net的末尾，添加了一个由两层卷积网络和一个全局残差学习模块（最长的那个skip connection）组成的recovery part 。最后，恢复了所需的无雾图像。
Feature Fusion Attention特征融合
注意如上所述，首先我们将G组结构输出的所有特征映射在信道方向连接起来。此外，我们通过乘以由特征注意力（FA）机制获得的自适应学习权重来融合特征。由此，我们可以保留低层的信息并将其传递到深层，由于权重机制的存在，使得FFA网络更加关注厚雾区、高频纹理和色彩保真度等有效信息。

每周一篇文献阅读—pape9 （用于单图像去雾的特征融合注意网络FFA-Net）相关推荐

FFA-Net: Feature Fusion Attention Network for Single Image Dehazing (AAAI 2020)用于单图像去叠的特征融合注意力网络
用于单图像去叠的特征融合注意力网络 https://arxiv.org/pdf/1911.07559.pdf Xu Qin1*Zhilin Wang2∗Yuanchao Bai1Xiaodong Xi ...
每周一篇文献阅读—paper13
Fast Visual Object Tracking with Rotated Bounding Boxes 译文摘要引言相关工作基于Siamese网络的跟踪算法旋转的bounding b ...
每周一篇文献阅读—paper 5
A sparse annotation strategy based on attention-guided active learning for 3D medical image segmenta ...
每周一篇文献阅读—paper2
NoduleNet: Decoupled False Positive Reduction for Pulmonary Nodule Detection and Segmentation) 译文摘要 ...
【文献阅读】用于zero-shot识别的双曲视觉嵌入学习网络（S. Liu等人，CVPR，2020）
一.背景文章题目:<Hyperbolic Visual Embedding Learning for Zero-Shot Recognition> 文章下载地址:https://open ...
D-HAZY :一个用于定量评估去雾算法的数据集
原文摘要去雾处理是近年出现的一种图像增强技术.尽管它很重要,但是没有数据集来定量评估这些技术.在本文中,我们介绍了一个包含1400多对图像的数据集,这些图像包含地面真实参考图像和同一场景的模糊图像 ...
知识图谱-生物信息学-医学顶刊论文(Bioinformatics-2021)-MUFFIN:用于DDI预测的多尺度特征融合
2.(2021.3.15)Bioinformatics-MUFFIN:用于DDI预测的多尺度特征融合论文标题: MUFFIN: multi-scale feature fusion for drug ...
英文不好如何高效快速地阅读英文文献——提供一种快速首篇文献阅读方法
英文不好如何高效快速地阅读英文文献文章目录英文不好如何高效快速地阅读英文文献更新前言: 前言关于阅读英文文献的重要性中国人最新最优秀的科研成果基本上都会发表在国外的期刊,用的英语. 1.确定 ...
IPUDN（用于单幅图像去雾的透射图和大气光导迭代更新器网络）CVPR_2020
摘要: 本文提出了一种基于新颖的迭代更新框架的迭代先验更新网络 (IPUDN).我们提出了一种新颖的卷积体系结构来估计信道方向的大气光,并将其与估计的透射图一起用作去雾网络的先验.使用通道方向的大气光 ...

每周一篇文献阅读—pape9 （用于单图像去雾的特征融合注意网络FFA-Net）

FFA-Net: Feature Fusion Attention Network for Single Image Dehazing

摘要

网络结构

特征注意力模块

每周一篇文献阅读—pape9 （用于单图像去雾的特征融合注意网络FFA-Net）相关推荐

最新文章

热门文章

每周一篇 文献阅读—pape9 （用于单图像去雾的特征融合注意网络FFA-Net）

FFA-Net: Feature Fusion Attention Network for Single Image Dehazing

摘要

网络结构

特征注意力模块

每周一篇 文献阅读—pape9 （用于单图像去雾的特征融合注意网络FFA-Net）相关推荐

最新文章

热门文章

每周一篇文献阅读—pape9 （用于单图像去雾的特征融合注意网络FFA-Net）

每周一篇文献阅读—pape9 （用于单图像去雾的特征融合注意网络FFA-Net）相关推荐