沉睡在草稿箱的笔记

摘要

我们提出了一个全新的注意力机制，它可以强化细粒度识别的卷积神经网络。它学习了不使用部件标注的情况下，参与低水平特征激活，纠正输出的似然分布【很拗口，不知道什么意思】。相比较于其他的方法，我们提出的机制是模块化的，不依赖模型结构，参数体量和计算都很轻盈。实验显示我们机制辅助的网络提高了识别精度，并且更加的具有鲁棒性。我们辅助的Wide Residual Network 在cifar-10，Standfor dogs等数据集上超过了顶尖的水平。

引言

人类和动物都会使用注意力机制处理大量的信息。这是使用注意力机制帮助细粒度识别网络的灵感。在大量的数据中，寻找细粒度类别之间的细微差异是很困难的，而且还需要考虑到杂乱和变化带来的鲁棒性。在这种情景下，注意力机制一般分为两种：i). 迭代的方法：使用RNN或者LSTM的技巧，处理图像迭代；ii).前馈注意力机制增强CNN的能力，比如STN或者FAM。尽管残差注意力机制不适用于细粒度识别，但是它是前馈注意力机制的一个例子，它利用残差连接增强特征图的某些区域。
因此，现有的注意力机制都有一下缺点之一：

庞大的内存体积和计算要求
依附于精巧复杂的体系设计
需要多次遍历数据

因此仍然需要有以下属性的模型：
(i). 探测和处理细粒度图像标识区域更鲁棒；(ii). 使用SGD的可训练的前馈设计比迭代模型收敛更快，它们俩又比强化学习收敛更快【需要更快的收敛速度】；(iii). 在被残差定位映射【不懂】之前，尽可能保存底层特征。【保留细节】。因为底层特征比如毛色纹理等是能够作为细粒度类别分类的重要因素。但这不能完全由残差注意力机制实现，因为残差注意力机制在经过数次残差后，底层特征会受到噪音的影响。
另外，应用在CNNs上的注意力机制需要有以下几个优势：(i). 模块化和增量式；(ii). 结构独立；(iii). 低计算量。
基于上面的总结，我们提出了一个新的注意力机制，它是由一组可复重复的Attention Module 和门控机制组成，在一个标准的CNN中，学习底层特征。
任何现有的网络结构都能使用这个注意力机制，并且进行损失替换。亮点是这个模型独立于原网络，所以实际的训练中，它和主干网络的训练是平行的。这个模块和Wide ResNet（WRN）结合（WRAN），作用在WRAN的主干网络上，能够达到很好的效果。

方法

我们的方法是一个通用的注意力模块，添加在卷积网络之后，不会影响原有网络的数据流向。它可以很便捷的接在 VGG和ResNet之后。这个注意力机制包含三个部分：1. Attention Head H：定义了特征图的相关区域；2. Output Head O：生成一个被给予的参与信息的假设； 3. Confidence gate g：给每一个attention head输出一个信任度confidence score。
【这个图很实在，实在看不懂】

主要内容

如下图，将卷积网络应用在增强层的输出，产生注意力热图K。将这些热图生成一个概率向量。这个过程可以被用在N层上，产生N个类别概率向量。之后模型可以学习纠正初始预测，通过增加底层特征的类别预测，形成网络最终的预测。
【这篇文章的描述真的是让人无法理解】

Attend and Rectify: a Gated Attention Mechanism for Fine-Grained Recovery相关推荐

深入理解注意力机制（Attention Mechanism）和Seq2Seq
学习本部分默认大家对RNN神经网络已经深入理解了,这是基础,同时理解什么是时间序列,尤其RNN的常用展开形式进行画图,这个必须理解了. 这篇文章整理有关注意力机制(Attention Mechanis ...
2018-GaAN: Gated Attention Networks for Learning on Large and Spatiotemporal Graphs
2018-GaAN: Gated Attention Networks for Learning on Large and Spatiotemporal Graphs 摘要 1 INTRODUCTIO ...
【GAM全文翻译及代码实现】Global Attention Mechanism: Retain Information to Enhance Channel-Spatial Interactions
paper:https://arxiv.org/pdf/2112.05561v1.pdf 目录 1. Introduction 2. Related Works 3. Global Attention ...
深度学习中Attention Mechanism详细介绍：原理、分类及应用
Attention是一种用于提升基于RNN(LSTM或GRU)的Encoder + Decoder模型的效果的的机制(Mechanism),一般称为Attention Mechanism.Attent ...
论文学习2-Incorporating Graph Attention Mechanism into Knowledge Graph Reasoning Based on Deep Reinforce
文章目录摘要介绍相关工作方法 Mean Selection Rate (MSR) and Mean Replacement Rate (MRR Incorporating Graph Atte ...
注意力机制（Attention Mechanism）-ECANet
引言神经网络中的注意力机制(Attention Mechanism)是在计算能力有限的情况下,将计算资源分配给更重要的任务,同时解决信息超载问题的一种资源分配方案.在神经网络学习中,一般而言模型的参 ...
Attention Mechanism[Transformer、Transformer-XL、XLNet]
Content Attention Mechanism--->聚焦关键点 1 History 2 Introduction 3 structure 4 application situation ...
attention mechanism in computer vision(1)——channel attention
attention mechanism in computer vision(1)--channel attention 文章目录 attention mechanism in computer vi ...
Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation论文解读
(CVPR 2020|中科院VIPL实验室) 1.要解决的问题: 基于类别标签的弱监督语义分割是一个具有挑战性的问题,类别响应图(class activation map,简称CAM)始终是这一领域的 ...

Attend and Rectify: a Gated Attention Mechanism for Fine-Grained Recovery

摘要

引言

方法

主要内容

Attend and Rectify: a Gated Attention Mechanism for Fine-Grained Recovery相关推荐

最新文章

热门文章