注意力CBMA到底在网络中做了什么事

注意力CBAM到底在网络中做了什么事

CBAM网络架构
- 通道注意力
  
  空间注意力：
分析
- 通道注意力：
  - 1.将特征图进行最大池化和平均池化
    
    SENet也使用了通道注意力，但SENet只采用了平均池化，没有采用最大池化。作者加入了最大池化的原因，在论文中写到是因为在实验中发现加入了最大池化效果更好，或许是因为加入了最大池化获取的信息更丰富。最大池化和平均池化都是global级的，因此相当于一个通道上所有的特征图会压缩成一个像素的特征，n个通道对应n个像素的特征。
  - 2.将池化后的输出经过多层感知器(全连接层)
    
    作用是学习参数
  - 3.经过一个softmax函数
    
    目的是获取重要程度
  为什么起作用：
  
  注意力机制实际上就是集中注意到某一个局部，换句话说就是不平等的对待总体的输入，例如，对于一个通道注意力模块来说，对于某特征图输入的所有通道的特征图来说，重视程度是不同的，对于某些通道更重视，权重更大，对于另外某些通道来说就不重视，权重较小，softmax函数的作用就是生成对于各个通道重视程度的概率
- 空间注意力
  - 首先沿着通道级别最最大池化和平均池化
    
    沿着通道做，将n个通道HxW的图像压缩为一个单通道的HxW的图像，经过一个1x1的卷积层学习参数，在经过softmax获取HxW上个像素点的重要程度，原理同通道注意力一样。

注意力CBMA到底在网络中做了什么事相关推荐

transformer 中的注意力机制和胶囊网络中的动态路由：它们在本质上或许具有相似性
https://mp.weixin.qq.com/s/RUf0igO2FShhq3c8WIgxYQ
wifi丢包率高怎么解决_大家有没有发现无线网络中多播的丢包率很高
在linux下用vlc在若干笔记本组成的无线网络中做视频传输实验如果用单播(unicast)的udp,效果很好,很流畅但如过用多播(Multicast)的udp,效果就很差,接收的图像上有很多方块 ...
从任务到可视化，如何理解LSTM网络中的神经元 By 机器之心2017年7月03日 14:29 对人类而言，转写是一件相对容易并且可解释的任务，所以它比较适合用来解释神经网络做了哪些事情，以及神经网
从任务到可视化,如何理解LSTM网络中的神经元 By 机器之心2017年7月03日 14:29 对人类而言,转写是一件相对容易并且可解释的任务,所以它比较适合用来解释神经网络做了哪些事情,以及神经网络 ...
自适应注意力机制在Image Caption中的应用
在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考. 在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果. 点击本文底部的「阅读原文」即刻加入社区 ...
【复杂网络】关于复杂网络中的动力学系统重构的文献资料整理
关于复杂网络动力学系统重构的文献资料转载问题描述方法 1. 通用方法 1. 相关性方法 2. 基于信息论的方法 3. 格兰杰因果检验(Granger Causality)方法 4. 相空间重构方法 ...
通信工程论文通信网络中故障数据优化检测仿真研究
通信网络中故障数据优化检测仿真研究专业:通信工程 2022年5月论文题目:通信网络中故障数据优化检测仿真研究学科专业:通信工程摘要在对通信网络之中的故障数据进行检测时,考虑到在通信网络之中 ...
RepVGG网络中重参化网络结构解读【附代码】
YOLOv7论文中会遇到一个词叫"重参化网络"或者"重参化卷积",YOLOV7则是用到了这种网络结构,里面参考的论文是"RepVGG: Making ...
探究！一个数据包在网络中的心路历程
来自:小林coding 前言想必不少小伙伴面试过程中,会遇到「当键入网址后,到网页显示,其间发生了什么」的面试题. 还别说,这真是挺常问的这题,前几天坐在我旁边的主管电话面试应聘者的时候,也问了这个 ...
综述 | 生成对抗网络（GAN）在图网络中的应用
导语: 生成对抗网络(Generative Adversarial Network,简称GAN)是非监督式学习的一种方法,通过让两个神经网络相互博弈的方式进行学习.自2014年GAN网络提出以来,其在 ...

注意力CBMA到底在网络中做了什么事

注意力CBAM到底在网络中做了什么事

CBAM网络架构

为什么起作用：

注意力CBMA到底在网络中做了什么事相关推荐

最新文章

热门文章