自从yolov5-5.0加入se、cbam、eca、ca发布后，反响不错，也经常会有同学跑过来私信我能不能出一期6.0版本加入注意力的博客。个人认为是没有必要专门写一篇来讲，因为步骤几乎一样，但是问的人也慢慢多了，正好上一篇加入注意力的文章写的略有瑕疵，那就再重新写一篇。

yolo加入注意力三部曲

1.common.py中加入注意力模块

2.yolo.py中增加判断条件

3.yaml文件中添加相应模块

所有版本都是一致的，加入注意力机制能否使模型有效的关键在于添加的位置，这一步需要视数据集中目标大小的数量决定。

第一部曲：common.py加入注意力模块

class h_sigmoid(nn.Module):def __init__(self, inplace=True):super(h_sigmoid, self).__init__()self.relu = nn.ReLU6(inplace=inplace)def forward(self, x):return self.relu(x + 3) / 6class h_swish(nn.Module):def __init__(self, inplace=True):super(h_swish, self).__init__()self.sigmoid = h_sigmoid(inplace=inplace)def forward(self, x):return x * self.sigmoid(x)class CoordAtt(nn.Module):def __init__(self, inp, oup, reduction=32):super(CoordAtt, self).__init__()self.pool_h = nn.AdaptiveAvgPool2d((None, 1))self.pool_w = nn.AdaptiveAvgPool2d((1, None))mip = max(8, inp // reduction)self.conv1 = nn.Conv2d(inp, mip, kernel_size=1, stride=1, padding=0)self.bn1 = nn.BatchNorm2d(mip)self.act = h_swish()self.conv_h = nn.Conv2d(mip, oup, kernel_size=1, stride=1, padding=0)self.conv_w = nn.Conv2d(mip, oup, kernel_size=1, stride=1, padding=0)def forward(self, x):identity = xn, c, h, w = x.size()x_h = self.pool_h(x)x_w = self.pool_w(x).permute(0, 1, 3, 2)y = torch.cat([x_h, x_w], dim=2)y = self.conv1(y)y = self.bn1(y)y = self.act(y)x_h, x_w = torch.split(y, [h, w], dim=2)x_w = x_w.permute(0, 1, 3, 2)a_h = self.conv_h(x_h).sigmoid()a_w = self.conv_w(x_w).sigmoid()out = identity * a_w * a_hreturn outclass ChannelAttention(nn.Module):def __init__(self, in_planes, ratio=16):super(ChannelAttention, self).__init__()self.avg_pool = nn.AdaptiveAvgPool2d(1)self.max_pool = nn.AdaptiveMaxPool2d(1)self.f1 = nn.Conv2d(in_planes, in_planes // ratio, 1, bias=False)self.relu = nn.ReLU()self.f2 = nn.Conv2d(in_planes // ratio, in_planes, 1, bias=False)self.sigmoid = nn.Sigmoid()def forward(self, x):avg_out = self.f2(self.relu(self.f1(self.avg_pool(x))))max_out = self.f2(self.relu(self.f1(self.max_pool(x))))out = self.sigmoid(avg_out + max_out)return outclass SpatialAttention(nn.Module):def __init__(self, kernel_size=7):super(SpatialAttention, self).__init__()assert kernel_size in (3, 7), 'kernel size must be 3 or 7'padding = 3 if kernel_size == 7 else 1self.conv = nn.Conv2d(2, 1, kernel_size, padding=padding, bias=False)self.sigmoid = nn.Sigmoid()def forward(self, x):avg_out = torch.mean(x, dim=1, keepdim=True)max_out, _ = torch.max(x, dim=1, keepdim=True)x = torch.cat([avg_out, max_out], dim=1)x = self.conv(x)return self.sigmoid(x)class CBAM(nn.Module):# CSP Bottleneck with 3 convolutionsdef __init__(self, c1, c2, ratio=16, kernel_size=7):  # ch_in, ch_out, number, shortcut, groups, expansionsuper(CBAM, self).__init__()self.channel_attention = ChannelAttention(c1, ratio)self.spatial_attention = SpatialAttention(kernel_size)def forward(self, x):out = self.channel_attention(x) * xout = self.spatial_attention(out) * outreturn outclass SE(nn.Module):def __init__(self, c1, c2, r=16):super(SE, self).__init__()self.avgpool = nn.AdaptiveAvgPool2d(1)self.l1 = nn.Linear(c1, c1 // r, bias=False)self.relu = nn.ReLU(inplace=True)self.l2 = nn.Linear(c1 // r, c1, bias=False)self.sig = nn.Sigmoid()def forward(self, x):b, c, _, _ = x.size()y = self.avgpool(x).view(b, c)y = self.l1(y)y = self.relu(y)y = self.l2(y)y = self.sig(y)y = y.view(b, c, 1, 1)return x * y.expand_as(x)

第二部曲：yolo.py中增加判断条件

      if m in [Conv, GhostConv, Bottleneck, GhostBottleneck, SPP, SPPF, DWConv, MixConv2d, Focus, CrossConv,BottleneckCSP, C3, C3TR, C3SPP, C3Ghost,CBAM,CoordAtt,SE]:c1, c2 = ch[f], args[0]if c2 != no:  # if not outputc2 = make_divisible(c2 * gw, 8)

第三部曲：yaml文件中添加注意力

  [[-1, 1, Conv, [64, 6, 2, 2]],  # 0-P1/2[-1, 1, Conv, [128, 3, 2]],  # 1-P2/4[-1, 3, C3, [128]],[-1, 1, Conv, [256, 3, 2]],  # 3-P3/8[-1, 6, C3, [256]],[-1, 1, Conv, [512, 3, 2]],  # 5-P4/16[-1, 9, C3, [512]],[-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32[-1, 3, C3, [1024]],[-1, 1, CoordAtt,[1024]],[-1, 1, SPPF, [1024, 5]],  # 9

这是6.0版本的yolov5的骨干层，CoordAtt的位置可以换成以上任意一个注意力，其他参数不需要调整，傻瓜式复制粘贴，即可跑通。

以上就是具体将注意力添加至yolov5-6.0版本中的步骤。注意力模块并没有刻板规定一定要加在什么地方，使用者可随意调整。

接下来是理论部分。关于注意力的理论部分，各位博主大佬已经讲的非常细致了（这个地方想了半天成语想不出来），但是为了证明本人出色的复制粘贴能力，决定再写一下。

SE（挤压-激励注意力）

se注意力增强模型关注对象的方法分为两步：

挤压

对输入的特征图进行通道信息的全局平均池化，即挤压

激励

将挤压之后的信息通过两个全连接层、激活函数再归一化后乘到输入特征图上

CA（位置注意力）

位置注意力将通道注意力分解为两个1维特征编码过程，分别沿2个空间方向聚合特征。这样，可以沿一个空间方向捕获远程依赖关系，同时可以沿另一空间方向保留精确的位置信息。然后将生成的特征图分别编码为一对方向感知和位置敏感的attention map，可以将其互补地应用于输入特征图，以增强关注对象的表示。

coordinate信息嵌入

coordinate attention生成

（注：理论部分非本人原创，如有侵权，请联系我删除。）

总结

各个注意力机制使用后的感受，yolov5中个人感觉CA效果最好。

yolov5-6.0/6.1加入SE、CBAM、CA注意力机制（理论及代码）相关推荐

YOLOV5 6.0加入CA注意力机制(看了包会)
YOLOV5 6.0手把手教你加入CA注意力机制文章目录 YOLOV5 6.0手把手教你加入CA注意力机制 yolov5加入注意力机制步骤一.common.py 二.yolo.py 三.创建自定义 ...
Yolov5添加注意力机制
一.在backbone后面引入注意力机制 1.先把注意力结构代码放到common.py文件中,以SE举例,将这段代码粘贴到common.py文件中 2.找到yolo.py文件里的parse_model ...
YOLOv5添加注意力机制的具体步骤
本文以CBAM和SE注意力机制的添加过程为例,主要介绍了向YOLOv5中添加注意力机制的具体步骤本文在此篇博客的基础上向YOLOv5-5.0版本代码中添加注意力机制 yolov5模型训练---使用y ...
在yolov5的网络结构中添加注意力机制模块
知足知不足,有为有不为目录前言一.模块添加步骤二.相应注意力机制介绍及其代码 1.SE注意力 2.CBAM注意力
Yolov5 网络改进之增加SE、CBAM、CA、ECA等注意力机制
本文以Yolov5 6.0版本为例,讲解如何添加SE.CA.ECA.CBAM等即插即用的小模块,可同时适配其他网络结构.在这之前需要明白yolov5文件夹的三个小点: models\common.py ...
yolov5-5.0加入CBAM，SE，CA，ECA注意力机制
CBAM注意力 yolo.py和yaml文件中相应的CBAMC3也要换成CBAM,下面的SE同理 class ChannelAttention(nn.Module):def __init__(self ...
注意力机制（SE、Coordinate Attention、CBAM、ECA）、即插即用的模块整理
总结曾经使用过的一些即插即用的模块以及一些注意力机制 ** 注意力模块:SE ** 代码源自这位大佬的仓库:https://github.com/moskomule/senet.pytorch cla ...
YOLOv5改进--添加CBAM注意力机制
注意力机制包括CBAM.CA.ECA.SE.S2A.SimAM等,接下来介绍具体添加方式. CBAM代码,在common文件中添加以下模块: class CBAMC3(nn.Module):# CSP ...
目标检测算法——YOLOv5/YOLOv7改进之结合CBAM注意力机制
深度学习Tricks,第一时间送达论文题目:<CBAM: Convolutional Block Attention Module> 论文地址: https://arxiv.org/p ...

yolov5-6.0/6.1加入SE、CBAM、CA注意力机制（理论及代码）