欢迎大家来到《知识星球》专栏，这里是网络结构1000变小专题。

作者&编辑 | 言有三

1 Attention模型

Attention机制已经被证明在很多的任务中都能提升其性能，我们在《AI不惑境》中已经专门总结了这个问题，今天给大家介绍一下来自于ElementAI的一个用于细粒度图像分类的复杂多尺度Attention模型。

有三AI知识星球-网络结构1000变

Pay attention to Activations

本文是一种多尺度的attention方法，它估计网络不同深度不同抽象层级的attention信息，最后在输出层进行attention信息融合获得最后的attention map。

作者/编辑 言有三

模型结构如上图所示，在不同抽象层级添加了Attention子模块，这里有两个概念，一个是AD，一个是AW。

所谓AD，就是感知深度，对应各个抽象层级的特征。所谓AW，就是感知宽度，对于需要感知的目标种类，如动物的头，四肢等。

一个Attention Module的具体结构如下：

它首先输入B*C*H*W的特征图，输出B*1*H*W的经过softmax的Attention head热图，如下：

此后output_head基于Attention head的输出，预测各个类别的概率，输入包括B*C*H*W的特征图，B*1*H*W的Attention head热图，输出B*Class*1*1。这就是基于空间位置，对整图类别的Attention。

另外，不同的heads(即感知的目标种类)也应该有不同的权重，因此还需要对其进行Attention。

综上，一个Attention模块的输出如下：

最后的特征输出为各个Attention模块输出和原始全连接预测的加权和。

这里的权重值g来自于最后池化后的特征使用一个全连接层学习而来。

结果如何呢？

上图反映了不同AD和AW对性能的影响，可知增大AD和AW都有利于提升性能。

上图展示了各个Attention Depth的各个Attention Heads的结果，可见成功实现了初衷。

下表展示了在各大细粒度分类数据集上的结果，在不实用预训练和高清输入时，若干数据集上取得了最好的效果。

[1] Lopez P R, Dorta D V, Preixens G C, et al. Pay attention to the activations: a modular attention mechanism for fine-grained image recognition[J]. IEEE Transactions on Multimedia, 2019.

2 更多网络结构

更多的Attention网络结构，可以移步知识星球阅读！

有三AI知识星球的内容非常多，大家可以预览一些内容如下。

以上所有内容

加入有三AI知识星球即可获取

来日方长

点击加入

不见不散

更多精彩

每日更新

转载文章请后台联系

侵权必究

往期精选

• 揭秘7大AI学习板块，这个星球推荐你拥有

• 有三AI 1000问回归，备战秋招，更多，更快，更好，等你来战！

• 如何系统性掌握深度学习模型设计和优化

• 【知识星球】做作业还能赢奖金，传统图像/机器学习/深度学习尽在不言

• 【知识星球】颜值，自拍，美学三大任务简介和数据集下载

• 【知识星球】数据集板块重磅发布，海量数据集介绍与下载

• 【知识星球】猫猫狗狗与深度学习那些事儿

• 【知识星球】超3万字的网络结构解读，学习必备

• 【知识星球】视频分类/行为识别网络和数据集上新

• 【知识星球】3D网络结构解读系列上新

• 【知识星球】动态推理网络结构上新，不是所有的网络都是不变的

• 【知识星球】Attention网络结构上新，聚焦才能赢

• 【知识星球】几个人像分割数据集简介和下载

• 【知识星球】总有些骨骼轻奇，姿态妖娆的模型结构设计，不知道你知不知道，反正我知道一些

• 【知识星球】从SVM对偶问题，到疲劳驾驶检测，到实用工业级别的模型压缩技巧

• 【知识星球】为什么图像分类任务要从256*256中裁剪出224*224