前言

最近研究了下注意力机制

一、CBAM: Convolutional Block Attention Module

CBAM模块包含两个连续的子模块:通道注意力和空间注意力。

二、注意力相关的Pytorch代码

代码来自于网上，不是本人写的注意力代码的GitHub链接

import numpy as np
import torch
from torch import nn
from torch.nn import initclass ChannelAttention(nn.Module):def __init__(self,channel,reduction=16):super().__init__()self.maxpool=nn.AdaptiveAvgPool2d(1)self.avgpool=nn.AdaptiveAvgPool2d(1)self.se=nn.Sequential(nn.Conv2d(channel,channel//reduction,1,bias=False),nn.ReLU(),nn.Conv2d(channel//reduction,channel,1,bias=False))self.sigmoid=nn.Sigmoid()def forward(self, x) :max_result=self.maxpool(x)avg_result=self.avgpool(x)max_out=self.se(max_result)avg_out=self.se(avg_result)output=self.sigmoid(max_out+avg_out)return outputclass SpatialAttention(nn.Module):def __init__(self,kernel_size=7):super().__init__()self.conv=nn.Conv2d(2,1,kernel_size=kernel_size,padding=kernel_size//2)self.sigmoid=nn.Sigmoid()def forward(self, x) :max_result,_=torch.max(x,dim=1,keepdim=True)avg_result=torch.mean(x,dim=1,keepdim=True)result=torch.cat([max_result,avg_result],1)output=self.conv(result)output=self.sigmoid(output)return outputclass CBAMBlock(nn.Module):def __init__(self, channel=512,reduction=16,kernel_size=49):super().__init__()self.ca=ChannelAttention(channel=channel,reduction=reduction)self.sa=SpatialAttention(kernel_size=kernel_size)def init_weights(self):for m in self.modules():if isinstance(m, nn.Conv2d):init.kaiming_normal_(m.weight, mode='fan_out')if m.bias is not None:init.constant_(m.bias, 0)elif isinstance(m, nn.BatchNorm2d):init.constant_(m.weight, 1)init.constant_(m.bias, 0)elif isinstance(m, nn.Linear):init.normal_(m.weight, std=0.001)if m.bias is not None:init.constant_(m.bias, 0)def forward(self, x):b, c, _, _ = x.size()residual=xout=x*self.ca(x)out=out*self.sa(out)return out+residualif __name__ == '__main__':input=torch.randn(50,512,7,7)kernel_size=input.shape[2]cbam = CBAMBlock(channel=512,reduction=16,kernel_size=kernel_size)output=cbam(input)print(output.shape)

注意力机制--CBAM的研究相关推荐

新年美食鉴赏——基于注意力机制CBAM的美食101分类
新年美食鉴赏--基于注意力机制CBAM的美食101分类一.数据预处理 1.数据集介绍 2.读取标签 3.统一命名 4.整理图片路径 5.划分训练集与验证集 6.定义美食数据集二.注意力机制 1.简 ...
CNN中的混合域注意力机制CBAM
1. 注意力机制介绍注意力机制本质上是一种资源分配机制,它可以根据关注目标的重要性程度改变资源分配方式,使资源更多的向attention的对象倾斜.在卷积神经网络中,注意力机制所要分配的资源就是权重 ...
计算机视觉空间域（spatial）注意力机制——CBAM
首先是结构: CBAM不仅包含senet的channel注意力机制也包含spatial注意力模块两个attention模块都是使用sigmoid来缩放到[0,1]之间. 更详细的结构:也就是说cha ...
深度学习中的注意力机制（SENet、ECA、CBAM）pytorch验证
先验证 SENet 介绍一下:SE注意力机制(Squeeze-and-Excitation Networks),它是一种通道类型的注意力机制,就是在通道维度上增加注意力机制,主要内容是是squeeze ...
注意力机制原理及其模型发展和应用
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 Attention机制在近几年来在图像,自然语言处理等领域中都取得 ...
空间注意力机制和通道注意力机制详解
Attention机制在近几年来在图像,自然语言处理等领域中都取得了重要的突破,被证明有益于提高模型的性能. Attention机制本身也是符合人脑和人眼的感知机制,这次我们主要以计算机视觉领域为例, ...
综述：计算机视觉中的注意力机制
作者|xys430381_1 https://blog.csdn.net/xys430381_1/article/details/89323444 本文仅作学术分享,著作权归作者所有,如有侵权,请联系 ...
（很全面）综述---图像处理中的注意力机制
原文链接:https://blog.csdn.net/xys430381_1/article/details/89323444 重磅好文:微软亚研:对深度神经网络中空间注意力机制的经验性研究论文:A ...
YOLOV8改进：在c2f模块中的不同位置加入NAMAAttention注意力机制
NAMAAttention注意力机制简介: 注意力机制是近年来研究的热点之一(Wang et al.[2017],Hu等人[2018],Park等人[2018].Woo等人[2018]和Gao等人[1 ...

注意力机制--CBAM的研究

文章目录

前言

一、CBAM: Convolutional Block Attention Module

二、注意力相关的Pytorch代码

代码来自于网上，不是本人写的注意力代码的GitHub链接

注意力机制--CBAM的研究相关推荐

最新文章

热门文章

注意力机制--CBAM的研究

文章目录

前言

一、CBAM: Convolutional Block Attention Module

二、注意力相关的Pytorch代码

代码来自于网上，不是本人写的 注意力代码的GitHub链接

注意力机制--CBAM的研究相关推荐

最新文章

热门文章

代码来自于网上，不是本人写的注意力代码的GitHub链接