Why Transformer works

在近年来计算机视觉领域中，transformer似乎全面超越CNN，在各种任务上SotA，特别是swin[1]出来以后。然而有一个问题值得我们去思考，transformer的优势在哪里？为什么能够work？transformer刚在CV领域火起来以后，大书特书其中的多头注意力机制（MSA），我们似乎也同意了，似乎以cnn为代表的局部注意力机制在全局注意力机制的衬托下愈发显得羸弱与不堪。MLP（在cv领域）的死灰复燃[2]似乎也强调了这一点。

然而这是真相吗？

在后续的研究中发现，将MSA换成MLP、傅里叶变换效果也不错，甚至颜水成[3]团队发现即使将Transformer中的MSA换成pooling，精度也比cnn高；王井东团队[4]验证local Transformer attention与 inhomogeneous dynamic depthwise conv等价。那么究竟是什么造就了Transformer的成功呢？

近日（2022年1月12日），Facebook AI Research 一步步将resnet50向transformer演变[5]，发现transformer中的每个小模块都对精度有小幅度提升，最终联合促成了transformer的高精度。并且该团队还通过实验表明，在使用了这些小trick以后，CNN精度完爆transformer。在相近参数量的前提下，在分类、检测、分割任务上全面超越swin。

cnn并未过时，transformer不是万能药，但是transformer中的各种设计技巧值得我们学习。

参考文献：

Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
MLP is all you need
MetaFormer is Actually What You Need for Vision
Demystifying local vision transformer: Sparse connectivity, weight sharing, and dynamic weight
A ConvNet for the 2020s

Why Transformer works相关推荐

【TPAMI 2022】A Survey on Vision Transformer
文章目录 WHAT Contents 2. Formulation of Transformer 2.1 Self-Attention 2.2 Other Key Concepts in Transf ...
ansys电力变压器模型_变压器模型……一切是如何开始的？
ansys电力变压器模型 Transformer models have revolutionised the field of Natural Language Processing but, ho ...
一种带开关量的开口式电流互感器的应用
安科瑞耿敏花摘要:介绍了开口式电流互感器在改造项目中的应用,以及带开关量的开口式电流互感器的作用,和常规开口互感器对比的优势,并结合工程实例分析. Abstract:Introduces ...
BERT大火却不懂Transformer？读这一篇就够了原版可视化机器学习可视化神经网络可视化深度学习...20201107
20211016 调节因子 20211004 [NLP]Transformer模型原理详解 - 知乎论文所用 20210703 GPT模型与Transformer进行对比_znevegiveup1的 ...
关于Vision Transformer的一些思考
作者丨mileistone@知乎来源丨https://zhuanlan.zhihu.com/p/276145805 编辑丨极市平台自相矛盾 Vision Transformer(https://a ...
《Deep Learning With Python second edition》英文版读书笔记：第十一章DL for text: NLP、Transformer、Seq2Seq
文章目录第十一章:Deep learning for text 11.1 Natural language processing: The bird's eye view 11.2 Preparin ...
The Illustrated Transformer:中英文（看原文，很多翻译是错误的）
在上一篇文章中(previous post),我们研究了注意力机制 - 一种在现代深度学习模型中无处不在的(ubiquitous)方法. 注意力是一个有助于提高神经机器翻译(neural machin ...
The Illustrated Transformer 翻译
In the previous post, we looked at Attention – a ubiquitous method in modern deep learning models. A ...
Transformer architecture的解释
Go Forth And Transform I hope you've found this a useful place to start to break the ice with the ...
今日arXiv精选 | 18篇近期值得关注的Transformer工作
关于 #今日arXiv精选这是「AI 学术前沿」旗下的一档栏目,编辑将每日从arXiv中精选高质量论文,推送给读者. Differentiable Prompt Makes Pre-traine ...

Why Transformer works

Why Transformer works相关推荐

最新文章

热门文章