【星球知识卡片】注意力机制发展如何了，如何学习它在各类任务中的应用？...

大家好，欢迎来到我们的星球知识小卡片专栏，本期给大家分享注意力机制的发展和应用。

作者&编辑 | 言有三

1 注意力机制的作用

注意力机制的作用就是找到真正感兴趣的区域，加以处理，使其更好地完成任务，Google DeepMind提出的STN模型是一个非常优秀的代表。它可以定位目标并且学习对应的形变，然后进行预处理降低模型学习难度，可以作为基础模型嵌入任何网络，同时它也是一个空间注意力模型。

2 自注意力机制

与全连接神经网络相比，卷积神经网络在每一层是局部的，采用了较小的卷积核，感受实际对应到原始图像空间较大的区域，而且随着网络的加深，感受野增加。但是感受野毕竟不是全图，如何能够获得更大的感受野呢？Non-Local就是一个拥有全局感受野的自注意力模型。

3 通道注意力机制

SENet(Sequeeze and Excitation Net)是2017届ImageNet分类比赛的冠军网络，本质上是一个基于通道的Attention模型，它通过建模各个特征通道的重要程度，然后针对不同的任务增强或者抑制不同的通道。

4 空间注意力机制

图像中不同区域的重要性是不同的，动态容量网络(Dynamic Capacity Networks)是一个空间注意力机制网络，通过两个子网络来实现。

5 融合空间和通道注意力

STN等模型是从空间维度进行Attention，SENet等模型是从通道维度进行Attention，当然我们也可以同时使用空间Attention和通道Attention机制，以CBAM为代表。

6 其他

除了以上基本的变种，注意力机制还有非常多的研究，包括：

(1) 空间注意力模型的各种设计。

(2) 通道注意力模型的各种。

(3) 自注意力模型的各种设计。

(4) 如何对多种注意力机制进行融合。

(5) 注意力机制与残差网络，分组网络等经典结构的结合。

(6) 注意力机制在各类计算机视觉任务中的具体应用。

以上内容，如果你不想自己学习，可以去我们知识星球的网络结构1000变板块—注意力机制板块阅读，纯属自愿，不愿勿喷。

有三AI知识星球

知识星球是有三AI的付费内容社区，里面包括各领域的模型学习，数据集下载，公众号的付费图文原稿，技术总结PPT和视频，知识问答，书籍下载，项目推荐，线下活动等资源，了解详细请阅读以下文章：

【杂谈】有三AI知识星球一周年了！为什么公众号+星球才是完整的？

【杂谈】万万没想到，有三还有个保密的‘朋友圈’，那里面都在弄啥！

转载文章请后台联系

侵权必究

往期精选

【杂谈】2020年有三AI计算机视觉培养计划详解，该不该学&怎么学CV的简单讨论
【年终总结】2019年有三AI做了什么，2020年我们要做什么？
【总结】有三AI秋季划模型优化组3月直播讲了哪些内容，为什么每一个从事深度学习的同学都应该掌握模型优化的内容
【总结】有三AI秋季划人脸算法组3月直播讲了哪些内容，计算机视觉你不可能绕开人脸图像
【总结】有三AI秋季划图像质量组3月直播讲了哪些内容，为什么解决好底层图像处理问题那么重要
【星球知识卡片】残差网络家族10多个变种学习卡片，请收下！
【星球知识卡片】移动端高效率的分组网络都发展到什么程度了？

【星球知识卡片】注意力机制发展如何了，如何学习它在各类任务中的应用？...相关推荐

【星球知识卡片】模型压缩重要方向-动态模型，如何对其长期深入学习
大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享模型压缩中的一个非常重要的方向,动态模型. 作者&编辑 | 言有三 1 基于样本动态变化的卷积权重 Dynamic Convolutio ...
【星球知识卡片】换脸算法和人脸驱动都有哪些核心技术，如何对其长期深入学习...
大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享换脸算法和人脸驱动相关的资源. 作者&编辑 | 言有三 1 基于3D模型的换脸和人脸驱动基于3D模型的换脸算法是一类非常经典的思路,它 ...
【星球知识卡片】图像风格化与翻译都有哪些核心技术，如何对其长期深入学习...
大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享图像风格化相关的资源. 作者&编辑 | 言有三 1 基本的图像风格化模型 2015年德国图宾根大学科学家在论文<A Neural ...
【星球知识卡片】深度学习图像降噪有哪些关键技术点，如何学习
大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享图像降噪相关的资源. 作者&编辑 | 言有三 1 基本的CNN降噪模型图像去噪模型的输出是无噪声的图像,与输入图像大小相同,所以可以使 ...
【星球知识卡片】深度学习换脸算法都有哪些？如何长期进行学习
大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享人脸换脸算法相关的资源. 作者&编辑 | 言有三 1 基于3D模型的换脸基于3D模型的换脸算法是一类非常经典的思路,它首先对人脸进行三 ...
【星球知识卡片】人脸属性编辑都有哪些核心知识点，如何长期进行学习
大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享人脸属性编辑的核心技术点. 作者&编辑 | 言有三 1 人脸表情编辑人脸表情编辑即更改脸部的表情属性,包括嘴唇.鼻子等区域.可以广泛应 ...
【星球知识卡片】AutoML都有哪些核心技术，如何对其进行长期深入学习
大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享AutoML的核心技术点. 作者&编辑 | 言有三 1 AutoML与数据增强大家都知道数据增强很重要,是深度学习必备良药,写论文刷比 ...
【星球知识卡片】图像生成都有哪些核心技术，如何对其进行长期深入学习
大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分图像生成的核心技术点. 作者&编辑 | 言有三 1 基本图像生成框架一个基本的图像生成框架包括判别器和生成器,其中生成器输入噪声向量,判 ...
【星球知识卡片】视频分类与行为识别有哪些核心技术，对其进行长期深入学习...
大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享视频分类的核心技术点. 作者&编辑 | 言有三 1 3D卷积视频相对于图像多出了一个维度,而3D卷积正好可以用于处理这个维度,因此也非 ...

【星球知识卡片】注意力机制发展如何了，如何学习它在各类任务中的应用？...

【星球知识卡片】注意力机制发展如何了，如何学习它在各类任务中的应用？...相关推荐

最新文章

热门文章