CNN with Attention---channal and spatial attention

CNN with Attention
主要分为两种，一种是spatial attention, 另外一种是channel attention。
CNN每一层都会输出一个C x H x W的特征图，C就是通道，代表卷积核的数量，亦为特征的数量，H 和W就是原始图片经过压缩后的图，spatial attention就是对于所有的通道，在二维平面上，对H x W尺寸的图学习到一个权重，对每个像素都会学习到一个权重。你可以想象成一个像素是C维的一个向量，深度是C，在C个维度上，权重都是一样的，但是在平面上，权重不一样。这方面的论文已经很多了，重点关注一下image/video caption。相反的，channel attention就是对每个C，在channel维度上，学习到不同的权重，平面维度上权重相同。spatial 和 channel attention可以理解为关注图片的不同区域和关注图片的不同特征。channel attention写的最好的一篇论文个人感觉是SCA-CNN

网络架构上，Squeeze and Excitation Network就是channel attention的典型代表，主要思想是卷积网络的卷积核所代表的特征之间存在冗余，他们起了个名字叫feature recalibration，可以看作是在不影响性能的前提下减少卷积核数量是等效的。
patial transformer networks (STN) 是之后将attention用于物体识别比较有名的一篇文章，在一些现实应用中仍被使用。再如residual attention network.

attention机制听起来高达上，其实就是学出一个权重分布，再拿这个权重分布施加在原来的特征之上，就可以叫做attention。简单来说：
（1）这个加权可以是保留所有分量均做加权（即soft attention）；也可以是在分布中以某种采样策略选取部分分量（即hard attention）。

（3）这个加权可以作用在空间尺度上，给不同空间区域加权；也可以作用在channel尺度上，给不同通道特征加权；甚至特征图上每个元素加权。
（4）这个加权还可以作用在不同时刻历史特征上，如Machine Translation，以及我前段时间做的视频相关的工作。

参考文献https://blog.csdn.net/baidu_36161077/article/details/81066001

CNN with Attention---channal and spatial attention相关推荐

注意力之spatial attention
spatial attention channel attention是对通道加权,spatial attention是对spatial加权 Parameter-Free Spatial Attent ...
attention机制、self-attention、channel attention、spatial attention、multi-head attention、transformer
文章目录 attention sequence attention attention 与 self-attention channel attention 与 spatial attention m ...
Spatial Attention
Attention 机制所谓Attention机制,便是聚焦于局部信息的机制.当我们再看一样东西时,我们当前时刻关注的一定是我们当前正在看的东西的某一个地方.随着任务的变化,注意力区域往往会发生变化 ...
2021-Twins: Revisiting the Design of Spatial Attention
文章目录 1. Title 2. Summary 3. Problem Statement 4. Method(s) 4.1 Twins-PCPVT 4.2 Twins-SVT 4.2.1 Local ...
论文笔记:Ask, Attend and Answer: Exploring Question-Guided Spatial Attention for Visual Question Answeri
Ask, Attend and Answer: Exploring Question-Guided Spatial Attention for Visual Question Answering Hu ...
论文解读：Ask, Attend and Answer: Exploring Question-Guided Spatial Attention for VQA
这是关于VQA问题的第五篇系列文章.本篇文章将介绍论文:主要思想:模型方法:主要贡献.有兴趣可以查看原文:Ask, Attend and Answer: Exploring Question-Guid ...
通道注意力机制 cnn keras_【CV中的Attention机制】简单而有效的CBAM模块
前言: CBAM模块由于其使用的广泛性以及易于集成得到很多应用.目前cv领域中的attention机制也是在2019年论文中非常火.这篇cbam虽然是在2018年提出的,但是其影响力比较深远,在很多领 ...
DNN结构：CNN、LSTM/RNN中的Attention结构
前言 attention作为一种机制,有其认知神经或者生物学原理: 注意力的认知神经机制是什么? 如何从生物学的角度来定义注意力? 大多数attention (gating) 技巧都可以直接加入现有的 ...
Spatial Attention model
这个方法来自于论文:<Context Aware Query Image Representation for Particular Object Retrieval> 在描述待查询图像时 ...
SA-UNet: Spatial Attention U-Net for Retinal Vessel Segmentation
论文阅读:SA-UNet: Spatial Attention U-Net for Retinal Vessel Segmentation 用于视网膜血管分割的空间注意力U-Net 摘要:视网膜血管的 ...

CNN with Attention---channal and spatial attention

CNN with Attention---channal and spatial attention相关推荐

最新文章

热门文章