Squeeze-and-Excitation Networks（SENet：GAP+2个FC）通道注意力模型公式解析

2024-05-18 23:27:31

文章目录

Squeeze-and-Excitation Networks
- 代码
- 论文
- SENet：通道注意力机制
- SENet基线网络图
- - SE-inception Module
  - SE-ResNet Module
- 实验结果
- 烧烛实验（ResNet+SENet结构分析）
- 总结

Squeeze-and-Excitation Networks

代码

SE-Net代码

论文

SENet论文

SENet：通道注意力机制

SENet简易网络图

1.Squeeze：（全局信息嵌入）每个卷积核都与一个区域相关联，但是每个卷积核没有办法和该区域之外的信息（上下文信息）相关联。
简单的说，通过 z ∈ R C z\in R^C z∈RC全局平均池化收缩 U U U 的空间维度，如下式：

2.Excitation：（全捕获引导通道依赖）

简单来说就是两层全连接层，一层降维，一层升维。
该函数应该满足两个条件：一是灵活性（通道之间的非线性交互）；二是它能够学习一种不相互排斥的关系，目的是确保多个通道被强调（不是强制的独热向量激活）

W 1 ∈ R C r ∗ C W_1\in R^ { \frac{C}{r}*C} W1∈RrC∗C（向量相乘，得到 C r \frac{C}{r} rC 维向量，相当于降维）， W 2 ∈ R C ∗ C r W_2\in R^ {C*\frac{C}{r}} W2∈RC∗rC（向量相乘，得到 C C C 维向量，相当于升维）， δ \delta δ是ReLU函数， δ ( . ) \delta(.) δ(.)函数代表是第一个全连接层，而 σ \sigma σ是sigmoid函数， σ ( . ) \sigma(.) σ(.)函数代表的是第二个全连接层。
最后，通过标量 s c s_c sc与特征 u c u_c uc相乘，得到输出 x c ~ \tilde{x_c} xc~。

SENet基线网络图

SE-inception Module

SE-inception Module是在inception的基础上加上一个SE块。

SE-ResNet Module

SE-ResNet Module在残差块中加入SE模块，最后相加输出。

实验结果

(左)ResNet-50 [13]。(中)SE-ResNet-50。(右)带有32×4d模板的SE-ResNeXt-50。

original原论文中的结果，re-implementation作者复现结果，SENet模块结果。可以看出来，加入SE模块后准确率得到了明显的提升，而且计算量也没有因为加入SE模块得到较大的改变。

Ratio r r r在一定范围内，准确率是比较稳定的，较小的 r r r会显著增加模型的参数大小。当 r = 16 r=16 r=16 在准确率和复杂性发面取得良好的平衡。

烧烛实验（ResNet+SENet结构分析）

结果是下表

总结

文中提出了SE模块，是一种动态的重新校准通道式特征来提高网络的表征能力的方法，为后面注意力机制的进一步研究提供了新的方向，比如CBAM中通道注意力和空间注意力相结合。

Squeeze-and-Excitation Networks（SENet：GAP+2个FC）通道注意力模型公式解析相关推荐

《Squeeze-and-Excitation Networks》SE-Net通道注意力机制
前言在阅读了一系列Activation Funtion论文之后,其中Dynamic Relu的论文提到了基于注意力机制的网络,因此先来看看经典的SE-Net的原理 Introduction 对于CN ...
【新手小白向-自我感觉只有基础的高数和线代知识】-SE（Squeeze and Excitation）模块的原理理解与解释-以别人的文章为主加上自己的理解
第1章 SE模块原理解释(照抄为加快理解) ++++通道注意力机制SE(Squeeze and Excitation)模块和动态激活函数引入骨干网络xx,增强特征提取模块对某个主要对象中关键特征的提取 ...
【深度学习】(8) CNN中的通道注意力机制（SEnet、ECAnet），附Tensorflow完整代码
各位同学好,今天和大家分享一下attention注意力机制在CNN卷积神经网络中的应用,重点介绍三种注意力机制,及其代码复现. 在我之前的神经网络专栏的文章中也使用到过注意力机制,比如在MobileN ...
2.阅读笔记Stacked Attention Networks for Image Question Answering(堆叠式注意力网络)
Stacked Attention Networks for Image Question Answering(堆叠式注意力网络) 一,介绍这篇论文提出了一种用于图像问答任务的堆叠式注意力网络SAN ...
SEnet 通道注意力模块
SEnet 通道注意力模块开篇一张图: 变量和图片解释: 三个正方体:特征向量,比如说图像的特征,H表示图片高度.W表示图片宽.C表示通道(黑白1通道.彩色3通道) 字母: X表示输入特征: Ftr ...
SE(Squeeze and Excitation)模块的理解以及代码实现
文章目录 1. 简介 2. 运算讲解 1. 简介 SE Block并非一个完整的网络,而且一个子结构,可以嵌在其他分类或检测模型中.SE Block的核心思想是通过网络根据loss去学习特征权重,使得 ...
Squeeze-and-Excitation Networks(SENet) 学习笔记
1. 简介作者提出了一个SE块的概念,它是根据channel之间的相关性来进行显式建模,从而实现自适应地channel-wise上的特征响应,把重要的特征进行强化.不重要的特征进行抑制来提升准确率. ...
【CVPR2018】Squeeze-and-Excitation Networks (SEnet)
这篇文章发表于CVPR2018,我在2018年就现场听过作者讲这篇文章(因为拖延症,现在才写博客).这是当年的oral文章,也算Momenta团队近几年最后一个重磅点儿的学术工作了.国际惯例,先给出论 ...
SEnet 通道注意力机制
SENet 在于通过网络根据loss去学习特征权重,获取到每个feature map的重要程度,然后用这个重要程度去给每一个特征通道赋予一个权重值,从而让神经网络去重点关注某些feature map ...

最新文章

热门文章