>>>深度学习Tricks，第一时间送达<<<

目录

（一）前言介绍

1.摘要

2.不同注意力步骤比较

（二）相关实验

（三）YOLOv5结合无参注意力SimAM

1.配置.yaml文件

2.配置common.py

3.修改yolo.py

---

SimAM：无参数Attention助力分类/检测/分割涨点！！！

（一）前言介绍

论文题目：SimAM: A Simple, Parameter-Free Attention Module for Convolutional Neural Networks

论文地址：http://proceedings.mlr.press/v139/yang21o/yang21o.pdf

源代码：https://github.com/ZjjConan/SimAM

1.摘要

本文提出一种概念简单且非常有效的注意力模块。不同于现有的通道/空域注意力模块，该模块无需额外参数为特征图推导出3D注意力权值。具体来说，基于著名的神经科学理论提出优化能量函数以挖掘神经元的重要性。进一步针对该能量函数推导出一种快速解析解并表明：该解析解仅需不超过10行代码即可实现。该模块的另一个优势在于：大部分操作均基于所定义的能量函数选择，避免了过多的结构调整。最后在不同的任务上对所提注意力模块的有效性、灵活性进行验证。

2.不同注意力步骤比较

（二）相关实验

对比其他注意力模型，+SimAM注意力后均表现出优秀的检测效果！！！

上表给出了ImageNet数据集上不同注意力机制的性能对比，从中可以看到：

1.所有注意力模块均可以提升基线模型的性能；

2.所提SimAM在ResNet18与ResNet101基线上取得了最佳性能提升；

3.对于ResNet34、ResNet50、ResNeXt50、MobileNetV2，所提SimAM仍可取得与其他注意力相当性能；

4.值得一提的是，所提SimAM并不会引入额外的参数；

5.在推理速度方面，所提SimAM与SE、ECA相当，优于CBAM、SRM。

（三）YOLOv5结合无参注意力SimAM

1.配置.yaml文件

添加方法灵活多变，和CBAM等注意力一样，Backbone或者Neck都可。

2.配置common.py

复制粘贴SimAM相关代码

class SimAM(nn.Layer):def __init__(self, lamda=1e-5):super().__init__()self.lamda = lamdaself.sigmoid = nn.Sigmoid()        def forward(self, x):b, c, h, w = x.shapen = h * w - 1mean = paddle.mean(x, axis=[-2,-1], keepdim=True)var = paddle.sum(paddle.pow((x - mean), 2), axis=[-2, -1], keepdim=True) / ne_t = paddle.pow((x - mean), 2) / (4 * (var + self.lamda)) + 0.5 out = self.sigmoid(e_t) * xreturn out

3.修改yolo.py

找到parse_model函数，加入SimAM_Moudle模块即可。具体可参考CBAM注意力方法。

---

目标检测算法——YOLOv5/YOLOv7改进之结合无参注意力SimAM（涨点神器）相关推荐

1. 目标检测算法——YOLOv5/YOLOv7改进之结合Swin Transformer V2（涨点神器）

2. 目标检测算法——YOLOv5/YOLOv7改进之结合特征提取网络RFBNet（涨点明显）

   关注"PandaCVer"公众号 >>>深度学习Tricks,第一时间送达<<<

3. 目标检测算法——YOLOv5/YOLOv7改进之结合GAMAttention

   >>>深度学习Tricks,第一时间送达<<< 目录 超越CBAM,全新注意力GAM:不计成本提高精度! (一)前沿介绍 1.GAM结构图 2.相关实验结果 (二) ...

4. 目标检测算法——YOLOv5/YOLOv7改进之结合​PP-LCNet（轻量级CPU网络）

   >>>深度学习Tricks,第一时间送达<<< 目录 ​PP-LCNet--轻量级且超强悍的CPU级骨干网络!! (一)前沿介绍 1.PP-LCNet主要模块 2. ...

5. ​目标检测算法——YOLOv5/YOLOv7改进之结合​SOCA（单幅图像超分辨率）

   >>>深度学习Tricks,第一时间送达<<< 目录 CVPR19 单幅图像超分辨率来了!!! (一)前沿介绍 论文题目:Second-order Attentio ...

6. 目标检测算法——YOLOv5/YOLOv7改进之结合​RepVGG（速度飙升）

   >>>深度学习Tricks,第一时间送达<<< 目录 RepVGG--极简架构,SOTA性能!!! (一)前沿介绍 1.RepVGGBlock模块 2.相关实验结果 ...

7. 目标检测算法——YOLOv5/YOLOv7改进结合轻量型Ghost模块

   >>>深度学习Tricks,第一时间送达<<< 论文题目:<GhostNet:More Features from Cheap Operations> ...

8. 目标检测算法——YOLOv5/YOLOv7改进之结合BiFPN

   >>>深度学习Tricks,第一时间送达<<< 论文题目:<EfficientDet: Scalable and Efficient Object Detec ...

9. 目标检测算法——YOLOv5/YOLOv7改进|将IOU Loss替换为EIOU Loss

   >>>深度学习Tricks,第一时间送达<<< 论文题目:<Focal and Efficient IOU Loss for Accurate Boundin ...

最新文章

1. 两大AI技术集于一身，有道词典笔3从0到1的飞跃
2. 使用PyTorch进行情侣幸福度测试指南
3. 新浪博客服务器维护,服务器安全维护
4. pythontuple数据类型_Python数据类型之元组的详细介绍
5. 启明云端方案分享| 小尺寸串口屏在充电桩的应用
6. 【数据库学习】——windows、MySQL构建新闻管理系统（控制台版）
7. 系统之家win11最新旗舰版64位镜像v2021.07
8. ajax是宏任务还是微任务,(滴滴面试)事件循环Event Loop及微任务和宏任务的执行过程详解...
9. linux 系统 cp: omitting directory 问题解决
10. 【重点】LeetCode 124. Binary Tree Maximum Path Sum
11. Prism6下的MEF：添加Logger
12. python中列表是什么类型_Python数据类型之列表
13. 华为荣耀手机 (HUAWEI Honor V9) USB 调试 - ADB 调试
14. 神奇的零知识证明，既能保守秘密，又能让别人信你！
15. BF算法和KMP算法详解
16. Android 控制第三方音乐播放器
17. 【1】机器人手眼标定：固定向上相机
18. 双重差分法之安慰剂检验
19. 怎么实时查看mysql当前连接数呢
20. MySQL日志系列(2)：binlog日志管理

热门文章

1. zynq 的uart（ps）
2. 为何你的生活那么无趣？
3. android电视与苹果手机屏幕,原来手机投屏到电视这么简单，不需要第三方工具，快来看看...
4. 2021年9月广州羊城杯，REVERSE的RE-BabySmc
5. ANTs安装问题记录
6. TSDB时序数据库-OpenTSDB
7. android 圆角边框边框渐变,Android深度定制化TabLayout：圆角，渐变色，背景边框，圆角渐变下划线，基于Android原生TabLayout...
8. 音频转换器怎么截取音频的其中一段
9. 三星智能手机全球销量第一 苹果下一代iPhone将威胁其地位
10. 初中学历怎么提高学历 有哪些途径