点上方计算机视觉联盟获取更多干货

仅作学术分享，不代表本公众号立场，侵权联系删除

转载于：新智元

AI博士笔记系列推荐

周志华《机器学习》手推笔记正式开源！可打印版本附pdf下载链接

2017年，一篇神奇的论文Attention is All You Need横空出世，目前已有两万多个引用，为后续的BERT，GPT类模型提供了基础的Transformer模型，在NLP，CV等多个机器学习领域大放异彩。

Transformer中一个重要的机制就是注意力（Attention），这也是论文标题中重点说明的，也是效果好的原因。

但谷歌的老对头苹果公司不这么想，近日，苹果公司在arxiv上上传了一篇论文，无需注意力机制的Transformer，即Attention Free Transformer (ATF)。

第一作者为华人Shuangfei Zhai，是毕业于宾汉姆顿大学的博士。

在attention效果好的时候，重新回顾不采用attention的研究方法就成了创新。

论文的摘要中说明，AFT是Transformer的一个有效的变体，不再需要自注意力机制。

一个 AFT 层中，key和value首先与一组已学习的位置偏差组合在一起，其结果以元素级(element-wise)方式与query相乘。

这种新的操作具有记忆线性复杂度（上下文大小和特征维度），使其既能兼容长输入文本，也能平衡模型大小。

AFT这个基础模型在文中又称为AFT-full，可视化的结果如下所示。对于每个时间步t来说，AFT都是value的加权平均值，结果就是和query的element wise的乘法。

除此之外，文中还介绍了 AFT-local 和 AFT-conv 两种模型，它们利用了局部性和空间权重分配的思想，同时保持了全局连通性。

AFT-local主要借鉴了CNN的思想，把相邻二维attention矩阵给平均池化。

AFT-simple是AFT-local的一个特殊情况，当s=0的时候，也就是没有位置偏差。

AFT-conv学习到了相邻位置的偏差，也是从局部性的想法扩展而来，采用了空间查权重共享的想法，也就是卷积，这个模型对于视觉相关的任务来说特别好用。

这个模型在两个自回归建模任务(CIFAR10和 Enwik8)和一个图像识别任务(ImageNet-1K 分类)上进行了广泛的实验，证明了 AFT 在所有的基准测试中都表现出了很好的竞争性能，同时也提供了很好的效率。

论文的结论就是AFT取代了原有attention机制中的点乘运算，并且在数据集上取得更好的结果，并且时间复杂度明显降低，这项工作将为Transformer类的模型提供参考。

论文在reddit社区上引发了激烈的讨论，有网友表示，你不需要卷积，你不需要注意力机制，你什么都不需要，能不能告诉我们到底需要什么？

有人回复道，我们需要价值数百万美元的硬件设备。

还有说全连接层is all you need。

即将到来的下一篇文章：Nothing is all you need。

参考资料：

https://www.reddit.com/r/MachineLearning/comments/npmq5j/r_an_attention_free_transformer/

-------------------

END

--------------------

我是王博Kings，985AI博士，华为云专家、CSDN博客专家（人工智能领域优质作者）。单个AI开源项目现在已经获得了2100+标星。现在在做AI相关内容，欢迎一起交流学习、生活各方面的问题，一起加油进步！

我们微信交流群涵盖以下方向（但并不局限于以下内容）：人工智能，计算机视觉，自然语言处理，目标检测，语义分割，自动驾驶，GAN，强化学习，SLAM，人脸检测，最新算法，最新论文，OpenCV，TensorFlow，PyTorch，开源框架，学习方法...

这是我的私人微信，位置有限，一起进步！

王博的公众号，欢迎关注，干货多多

王博Kings的系列手推笔记（附高清PDF下载）：

博士笔记 | 周志华《机器学习》手推笔记第一章思维导图

博士笔记 | 周志华《机器学习》手推笔记第二章“模型评估与选择”

博士笔记 | 周志华《机器学习》手推笔记第三章“线性模型”

博士笔记 | 周志华《机器学习》手推笔记第四章“决策树”

博士笔记 | 周志华《机器学习》手推笔记第五章“神经网络”

博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机（上）

博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机（下）

博士笔记 | 周志华《机器学习》手推笔记第七章贝叶斯分类（上）

博士笔记 | 周志华《机器学习》手推笔记第七章贝叶斯分类（下）

博士笔记 | 周志华《机器学习》手推笔记第八章集成学习（上）

博士笔记 | 周志华《机器学习》手推笔记第八章集成学习（下）

博士笔记 | 周志华《机器学习》手推笔记第九章聚类

博士笔记 | 周志华《机器学习》手推笔记第十章降维与度量学习

博士笔记 | 周志华《机器学习》手推笔记第十一章稀疏学习

博士笔记 | 周志华《机器学习》手推笔记第十二章计算学习理论

博士笔记 | 周志华《机器学习》手推笔记第十三章半监督学习

博士笔记 | 周志华《机器学习》手推笔记第十四章概率图模型

点分享

点收藏

点点赞

点在看