代码：https://github.com/zhilin007/FFA-Net

1. 摘要

本文提出了Feature Fusion Attention Network(FFA-Net)用于单幅图像去雾。该网络最重要的是Feature Attention(FA)模块。FA模块包含了Channel Attention(CA)模块和Pixel Attention(PA)模块。

2. 网络结构

网络总体结构如图1所示。

图1 网络总体结构

网络的输入为一张雾图，经过一个浅层的特征提取部分，然后馈入N个带有跳跃连接的Group Architecture，输出结果由本文提出的特征注意力模块进行融合，最后，经由重建部分和全局残差学习结构得到最终的无雾图输出。

2.1 Feature Attention(FA)

特征注意力模块结构如图2所示。

大多数去雾网络平等对待通道和像素的特征，无法准确处理雾分布不均和加权通道方式特征的图像。本文的特征注意力包含了通道注意力和像素注意力，可以在处理不同类型的信息时提供额外的灵活性。
FA不平等地对待不同的特征和像素区域，这可以在处理不同类型的信息时提供额外的灵活性，并可以扩展CNN的表示能力。关键步骤是如何为每个通道和像素方向的特征生成不同的权重。

图2 Feature Attention module

Channel Attention(CA)

我们的频道关注点主要是关于DCP，不同的频道功能具有完全不同的加权信息。首先，我们使用全局平均池将通道方式的全局空间信息带入通道描述符。
gc=Hp(Fc)=1H×W∑i=1H∑j=1WXc(i,j)(3)g_{c}=H_{p}\left(F_{c}\right)=\frac{1}{H \times W} \sum_{i=1}^{H} \sum_{j=1}^{W} X_{c}(i, j) \tag{3} gc=Hp(Fc)=H×W1i=1∑Hj=1∑WXc(i,j)(3)

其中，Xc(i,j)X_{c}(i, j)Xc(i,j)为第ccc通道XcX_cXc在(i,j)(i, j)(i,j)的像素值，HpH_pHp为全局池化函数。特征图的形状由C×H×WC \times H \times WC×H×W变为C×1×1C \times 1 \times 1C×1×1。
为了获取不同通道的权重，随后将特征经由两层卷积层，sigmoid和ReLU激活函数。如下：
CAc=σ(Conv(δ(Conv(gc))))(4)C A_{c}=\sigma\left({Conv}\left(\delta\left({Conv}\left(g_{c}\right)\right)\right)\right) \tag{4} CAc=σ(Conv(δ(Conv(gc))))(4)

其中，σ\sigmaσ代表sigmoid函数，δ\deltaδ代表ReLu函数。
最后，将输入FcF_cFc和每个通道的权重进行逐元素相乘。如下：
Fc∗=CAc⊗Fc(5)F_c^* = CA_c \otimes F_c \tag{5} Fc∗=CAc⊗Fc(5)

Pixel Attention(PA)

考虑到不同图像像素上的雾度分布不均匀，本文提出了一种像素注意立模块，以使网络更加关注信息特征，例如浓雾像素和高频图像区域。CA模块公式化如下：
PA=σ(Conv⁡(δ(Conv⁡(F∗))))(6)P A=\sigma\left(\operatorname{Conv}\left(\delta\left(\operatorname{Conv}\left(F^{*}\right)\right)\right)\right) \tag{6} PA=σ(Conv(δ(Conv(F∗))))(6)

其中，F∗F^*F∗为CA的输出。特征图的形状由C×H×WC \times H \times WC×H×W变为1×H×W1 \times H \times W1×H×W。
最后，将输入F∗F^*F∗和PA进行逐元素相乘，得到FA模块的输出F~\widetilde{F}F。如下：“
F~=F∗⊗PA(7)\widetilde{F}=F^{*} \otimes P A \tag{7} F=F∗⊗PA(7)

2.2 Basic Block Structure

基础Block Structure如图3所示。

图3 基础块结构

如图3所示，基础Block Structure由局部残差学习和FA模块组成，局部残差学习允许通过多个局部残差连接绕过较不重要的信息，例如薄雾度或低频区域，并且主要网络关注有效信息。

2.3 Group Architecture and Global Residual Learning

Group Architecture将基础Block Structure与跳过连接模块结合在一起。连续的Block Structure增加了FFA-Net的深度和表达能力。跳过连接会使FFA-Net难以训练。在FFA-Net的末尾，我们使用两层卷积网络实现和一个很长的捷径全局残差学习模块来添加恢复部分。最后，恢复了所需的无雾图像。

2.4 Feature Fusion Attention

如上所述，首先，将Group Architecture在通道方向上输出的所有特征图连接起来。此外，通过乘以通过特征注意力机制获得的自适应学习权重来融合特征。由此，可以保留低级信息并将其传递到更深的层次，由于权重机制，让FFA-Net更加关注有效信息，例如浓雾区域，高频纹理和色彩逼真度。

3. 损失函数

本文的损失函数单纯使用L1L1L1范式。损失函数如下：
L(Θ)=1N∑i=1N∥Igti−FFA(Ihazei)∥(8)L(\Theta)=\frac{1}{N} \sum_{i=1}^{N}\left\|I_{g t}^{i}-F F A\left(I_{{haze}}^{i}\right)\right\| \tag{8} L(Θ)=N1i=1∑N∥∥Igti−FFA(Ihazei)∥∥(8)

其中，Θ\ThetaΘ代表网络参数，IgtI_{g t}Igt代表Ground-Truth，IhazeI_{haze}Ihaze代表输入。

4. 读后感

网络结构简单，文章也没有什么让人耳目一新的创新点。但是客观指标很高，主观效果也不差。

论文阅读：FFA-Net: Feature Fusion Attention Network for Single Image Dehazing相关推荐

论文笔记：FFA-Net Feature Fusion Attention Network for Single Image Dehazing
摘要作者提出了一种端到端的特征融合注意力网络(FFA-Net)来直接恢复无雾图像.FFA-Net架构由以下三个主要部分组成: (1)提出了一种新的特征注意(Feature Attention,FA) ...
58——FFA-Net: Feature Fusion Attention Network for Single Image Dehazing
论文信息FFA-Net: Feature Fusion Attention Network for Single Image Dehazing | Papers With Code 在本文中,我们提出 ...
读FFA-net: Feature Fusion Attention Network for Single Image Dehazing
学习目标: FFA-Net: Feature Fusion Attention Network for Single Image Dehazing(特征融合注意网络) 代码部分本周还没有来得及,下周会 ...
FFA-Net: Feature Fusion Attention Network for Single Image Dehazing
论文链接:https://arxiv.org/pdf/1911.07559v2.pdf 代码链接:https://github.com/zhilin007/FFA-Net 目录论文链接:https: ...
FFA-Net: Feature Fusion Attention Network for Single Image Dehazing (AAAI 2020)用于单图像去叠的特征融合注意力网络
用于单图像去叠的特征融合注意力网络 https://arxiv.org/pdf/1911.07559.pdf Xu Qin1*Zhilin Wang2∗Yuanchao Bai1Xiaodong Xi ...
[去雾论文]--AAAI2020-FFA-Net：Feature Fusion Attention Network for Single Image Dehazing
摘要: 在本文中,我们提出了一种端到端的特征融合注意力网络(FFA-Net)来直接恢复无雾图像.FFA-Net架构由以下三个主要部分组成: 1)提出了一种新的特征注意(FA)模块,该模块将通道注意与像 ...
【论文阅读】Hierarchical Multi-modal Contextual Attention Network for Fake News Detection --- 虚假新闻检测，多模态
本博客系本人阅读该论文后根据自己理解所写,非逐句翻译,欲深入了解该论文,请参阅原文. 论文标题:Hierarchical Multi-modal Contextual Attention Networ ...
论文阅读 [TPAMI-2022] ManifoldNet: A Deep Neural Network for Manifold-Valued Data With Applications
论文阅读 [TPAMI-2022] ManifoldNet: A Deep Neural Network for Manifold-Valued Data With Applications 论文搜索 ...
论文阅读|node2vec: Scalable Feature Learning for Networks
论文阅读|node2vec: Scalable Feature Learning for Networks 文章目录论文阅读|node2vec: Scalable Feature Learning ...

论文阅读：FFA-Net: Feature Fusion Attention Network for Single Image Dehazing

目录