arXiv爆款:想了解Attention就看它!清华计图胡事民团队出品
博雯 发自 凹非寺
量子位 报道 | 公众号 QbitAI
清华计图胡事民团队的这篇注意力机制的综述火了!
在上周的arXiv上,这是最热的一篇论文:
推特以及GitHub上也有不低的热度:
而这篇论文引用近200篇内容,对计算机视觉领域中的各种注意力机制进行了全面回顾。
在大量调查之后,论文将注意力机制分为多个类别,GitHub还给出了各类别下提到内容的PDF下载文件:
现在,就来一起看看这篇论文。
文章主要内容
论文首先将基于注意力的模型在计算机视觉领域中的发展历程大致归为了四个阶段:
将深度神经网络与注意力机制相结合,代表性方法为RAM
明确预测判别性输入特征,代表性方法为STN
隐性且自适应地预测潜在的关键特征,代表方法为SENet
自注意力机制
同时,注意力机制也被分为了通道注意、空间注意、时间注意、分支注意,以及两个混合类别:
针对不同类别,研究团队给出了其代表性方法和发展背景:
通道注意力(Channel Attention)
在深度神经网络中,不同特征图的不同通道常代表不同对象。
而通道注意力作为一个对象选择过程,可以自适应地重新校准每个通道的权重,从而决定关注什么。
因此,按照类别和出版日期将代表性通道关注机制进行分类,应用范围有分类(Cls)、语义分割(SSeg)、实例分割(ISeg)、风格转换(ST)、动作识别(Action)。
其中,(A)代表Channel-wise product,(I)强调重要通道,(II)捕捉全局信息。
空间注意力(Spatial Attention)
空间注意力可以被看作是一种自适应的空间区域选择机制。
其应用范围比通道注意力多出了精细分类(FGCls)和图像字幕(ICap)。
时间注意力(Temporal Attention)
时间注意力可以被看作是一种动态的时间选择机制,决定了何时进行注意,因此通常用于视频处理。
分支注意力(Branch Attention)
分支注意可以被看作是一种动态的分支选择机制,通过多分支结构决定去注意什么。
通道空间注意力(Channel & Spatial Attention)
通道和空间结合的注意力机制可以自适应地选择重要的对象和区域,由残差注意力(Residual Attention)网络开创了这一内容。
在残差注意力之后,为了有效利用全局信息,后来的工作又相继引入全局平均池化(Global Average Pooling),引入自注意力机制等内容。
时空注意力(Spatial & Temporal Attention)
时空注意力机制可以自适应地选择重要区域和关键帧。
最后,作者也提出了注意力机制在未来的一些研究方向:
探索注意力机制的必要和充分条件
是否可以有一个通用的注意块,可以根据具体的任务在各类注意力机制之间进行选择
开发可定性和可解释的注意力模型
注意力机制可以产生稀疏的激活,这促使我们去探索哪种架构可以更好地模拟人类的视觉系统
进一步探索基于注意力的预训练模型
为注意力模型研究新的优化方法
找到简单、高效、有效的基于注意力的模型,使其可以广泛部署
关于作者
这篇论文来自清华大学计算机系胡事民团队。
胡事民为清华大学计算机系教授,教育部长江学者特聘教授,曾经和现任IEEE、Elsevier、Springer等多个期刊的主编、副主编和编委。
同时,他也是清华“计图”框架团队的负责人,这是首个由中国高校开源的深度学习框架。
文章一作为胡事民教授的博士生国孟昊,现就读于清华大学计算机系,也是清华计图团队的一员。
各类资源汇总链接:
https://github.com/MenghaoGuo/Awesome-Vision-Attentions
论文地址:
https://arXiv.org/abs/2111.07624
arXiv爆款:想了解Attention就看它!清华计图胡事民团队出品相关推荐
- arXiv爆款:想了解Attention就看它!
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 博雯 发自 凹非寺 量子位 报道 | 公众号 QbitAI 清华计图 ...
- 新品爆款打造流程与操作步骤--电商人必看
一直想为共同奋斗的电商人做一些事情,从最初的小白到现在9年电商的老鸟,中间踩过很多坑,但最终还是坚持下来.希望可以帮助到更多点商人少走弯路,少踩坑.今天分享新品爆款打造流程与操作步骤,思维导图非常大, ...
- 如何快速打造淘宝爆款
打造网店单品爆款 网络零售行业自2003年快速发展以来已经经历了15个年头.八年来很多人都在研究该如何更好地做好网店推广工作. 在传统的市场营销概念中,大家对推广的理解相当简单,一般都认为是让我们的 ...
- 10W+的爆款文章都是如何写出来的?
凡是让你着迷的事物,背后往往都是满满的套路.--二师兄 今天给大家分享的一本书是关于爆款文章写作的--<爆款写作课>,看完之后真是感慨颇多.感慨什么呢?原来每一篇爆款文章都是满满的套路.有 ...
- 深入分析eBay卖家打造爆款的痛点:如何选品才有机会打造爆款?
我们做生意的,本质就是利益最大化,跨境电商行业也无一例外,但在运营的时候,总会碰上很多问题,例如有的产品卖得好,成为爆品,有的产品卖不好,严重滞销.而打造爆品就是所有卖家的追求,东哥所eBay跨境电商 ...
- 春夏时节,淘宝店铺如何快速打造爆款?
淘宝店铺为什么要做爆款? 因为在网上购物不像实体店,看得到摸得着.网上购物靠的就是视觉和感觉.你说的再好,没有实际销量.没有购买记录.没有用户真实评价,买家也不会轻易买.大家都知道,大多数人在购买宝贝 ...
- 如何通过评价送礼法来增加店铺评价质量,为店铺打造爆款?
之前我们就说过,爆款的意思就是销量流量增加,接下来就具体为大家讲讲如何通过好评送礼的方法来为店铺打造爆款: 1.第一步就是在主图的右下角协商参与活动可抢免单,活动详情咨询客服. 2.可以在详情页的第一 ...
- 如何打造爆款单品?小红书品牌营销全链路解决方案来了
导语 爆款单品已经成为小红书品牌增长的捷径.爆款单品能让新锐品牌实现从0到1的增长,那么能让网红品牌从1到10吗? <小红书品牌营销全链路解决方案>专栏第二部分:网红单品打造.与大家一起探 ...
- tab-pane 怎么家点击事件_想起爆款?怎么样去打造一个人见人点的爆款主图?
.想要真正把一个产品推广出去,把他打造成一个爆款,首先看产品,其次看优化技巧,最后看流量.因为并不是什么么样的产品都适合打造爆款的,这也是我们在操作之前会专门拿出时间和精力来选款测款的目的.我们把款式 ...
最新文章
- 追加10亿!腾讯宣布设立15亿元“战疫基金”
- 成都有哪些牛逼的互联网公司?
- 知识表示学习神器OpenKE:快速获取KG表示
- OA项目实战(二) 开发准备
- No primary or default constructor found for interface java.util.List
- DPDK单生产者入队单消费者出队
- tensor索引[..., 0]
- HDOJ1003 MaxSum【逆推】
- xp系统从u盘启动计算机,联想xp系统如何设置U盘启动_联想xp通过bios设置U盘启动的步骤...
- 个人简历模板,非常漂亮,docx格式,用word可自行修改
- L1-6 烤地瓜 (15 分)
- ThinkPHP微信小说小程序源码-自带采集带安装教程
- 《安富莱嵌入式周报》第210期:2021.04.26--2021.05.02
- Android Developer:合并清单文件
- linux系统下sendmail的搭建
- 多项式函数在某一点处的泰勒展开
- CCF CSP认证 难度及经历
- postgresql查询锁表以及解除锁表
- gradient设置上下渐变_图解CSS: CSS渐变
- torch 中的 uniform 具体用法
热门文章
- 如何隐藏iPhone导航栏上的“后退”按钮?
- 如何强制“ git pull”覆盖本地文件?
- python批量下载验证码,用来做验证码处理
- 交通运输部部长李小鹏谈及自动驾驶:包容失败、反对垄断,力争在国家层面出台指导意见...
- TortoiseSVN找不到系统指定路径
- day06_方法_20150806
- Swift实现Touch ID验证
- weight decay (权值衰减)
- 内存是新的硬盘,硬盘是新的磁带
- 解决rsync 同步auth failed on module问题