SEnet 通道注意力模块

开篇一张图：

变量和图片解释：

三个正方体：特征向量，比如说图像的特征，H表示图片高度、W表示图片宽、C表示通道（黑白1通道、彩色3通道）

字母：

X表示输入特征；
F_tr表示的是对X进行一次卷积，也就是对特征进行一系列的操作之后的结果，表示为U；
F_sq(.)表示的是对U进行压缩；
F_ex(.)表示的是对U进行激活（就是赋予权重）；
F_scale(.)表示的是对U进行放大（就是恢复维度）；

执行过程

对于输入的特征X进行一些列处理（在图中表示为卷积：F_tr）之后，得到处理后的特征U。
对特征U进行压缩操作，该压缩是沿着通道进行的，说直白的就是把每个通道的向量变为一个1x1的向量，也就是一个数，再直白一点就是把C个高为H、宽为W的一个平面面变为C个点。得到1x1xC的向量。值得注意的是：每个数（点）都拥有这个通道的全局特征信息。
然后使用可学习的参数对前面得到的1x1xC的向量赋予权重，说白了就是给C个点分别给一个权重，表示这个点在整个特征中的重要性。图中不同的颜色表示不同的重要性。
根据第3步的C个颜色对应到原始特征上，把原始特征的C个通道染上对应的色（赋予对应的权重）。这就得到了不同通道的不同的重要性，也就是注意力。

总结

这是我学完SENET之后的个人理解，傻瓜式理解，不喜勿喷。

需要注意的是，这个模块非常的灵活，非常的通用，如果想水一个创新点，往已有模型里加东西，这个模块可能是一个不二之选。

最后附上代码和网络结构图（对着前面模型结构图能看懂），如果模型结构懂了，看代码就是时间问题。

在图中根据上面说的对应着应该能看懂，需要说明的是r是一个给定数，主要是怕C太大，参数太多。

源代码：SEnet.pytorch 有caffe实现的，但是配一个caffe环境，我能重装十个系统，尽量用pytorch吧。

核心模块代码（对着网络结构图看看能懂）：

from torch import nn
class SELayer(nn.Module):def __init__(self, channel, reduction=16):super(SELayer, self).__init__()self.avg_pool = nn.AdaptiveAvgPool2d(1)self.fc = nn.Sequential(nn.Linear(channel, channel // reduction, bias=False),nn.ReLU(inplace=True),nn.Linear(channel // reduction, channel, bias=False),nn.Sigmoid())def forward(self, x):b, c, _, _ = x.size()y = self.avg_pool(x).view(b, c)y = self.fc(y).view(b, c, 1, 1)return x * y.expand_as(x)

SEnet 通道注意力模块相关推荐

超强通道注意力模块ECANet
CVPR2020论文阅读--超强通道注意力模块ECANet!论文地址:https://arxiv.org/abs/1910.03151 摘要最近,通道注意机制已被证明在改善深度卷积神经网络(CNN) ...
CVPR2020论文阅读——超强通道注意力模块ECANet！
Abstract 最近,通道注意机制已被证明在改善深度卷积神经网络(CNN)的性能方面具有巨大潜力.然而,大多数现有方法致力于开发更复杂的注意模块以实现更好的性能,这不可避免地会增加模型的复杂性. 为 ...
CVPR2020-超强通道注意力模块ECANet！
Abstract 最近,通道注意机制已被证明在改善深度卷积神经网络(CNN)的性能方面具有巨大潜力.然而,大多数现有方法致力于开发更复杂的注意模块以实现更好的性能,这不可避免地会增加模型的复杂性. 为 ...
《Squeeze-and-Excitation Networks》SE-Net通道注意力机制
前言在阅读了一系列Activation Funtion论文之后,其中Dynamic Relu的论文提到了基于注意力机制的网络,因此先来看看经典的SE-Net的原理 Introduction 对于CN ...
SEnet 通道注意力机制
SENet 在于通过网络根据loss去学习特征权重,获取到每个feature map的重要程度,然后用这个重要程度去给每一个特征通道赋予一个权重值,从而让神经网络去重点关注某些feature map ...
在网络中添加SE通道注意力模块
第一步:首先在网络构造的py中添加SELayer这个类 class SELayer(nn.Module):def __init__(self, channel, reduction=16):super ...
通道注意力机制 cnn keras_【CV中的Attention机制】简单而有效的CBAM模块
前言: CBAM模块由于其使用的广泛性以及易于集成得到很多应用.目前cv领域中的attention机制也是在2019年论文中非常火.这篇cbam虽然是在2018年提出的,但是其影响力比较深远,在很多领 ...
CBAM：融合通道和空间注意力的注意力模块
本文转载自AI公园. 作者:Sik-Ho Tsang 编译:ronghuaiyang 导读使用CBAM加持的MobileNetV1,ResNeXt&ResNet,WRN优于使用SENet的网 ...
通道注意力超强改进，轻量模块ECANet来了！即插即用，显著提高CNN性能｜已开源——总结3
极市平台(微信公众号ID:extrememart):专注计算机视觉前沿资讯和技术干货.本文由极市平台首发,转载需获授权. 极市导读:今天给大家推荐一篇CVPR2020上对通道注意力进行改进的文章--- ...

SEnet 通道注意力模块

SEnet 通道注意力模块

开篇一张图：

变量和图片解释：

执行过程

总结

SEnet 通道注意力模块相关推荐

最新文章

热门文章