最新变体Transformer！∞-former！DeepMind 出品！

点上方计算机视觉联盟获取更多干货

仅作学术分享，不代表本公众号立场，侵权联系删除

转载于：Sophia知乎

https://zhuanlan.zhihu.com/p/407824300

AI博士笔记系列推荐

周志华《机器学习》手推笔记正式开源！可打印版本附pdf下载链接

本文是DeepMind公司为解决无限长期记忆，基于Transformer提出的一个新的变体∞-former！这个变体可以拥有无限长期记忆，也可以处理任意长度上下文信息！2021年9月最新的文章！

文章地址：https://arxiv.org/pdf/2109.00301.pdf

整体架构

通过利用连续空间注意力机制来处理长期记忆，∞-former 的注意力复杂度可以独立于上下文长度。

话说这个标题挺有意思，哈哈

-------------------

END

--------------------

我是王博Kings，985AI博士，华为云专家、CSDN博客专家（人工智能领域优质作者）。单个AI开源项目现在已经获得了2100+标星。现在在做AI相关内容，欢迎一起交流学习、生活各方面的问题，一起加油进步！

我们微信交流群涵盖以下方向（但并不局限于以下内容）：人工智能，计算机视觉，自然语言处理，目标检测，语义分割，自动驾驶，GAN，强化学习，SLAM，人脸检测，最新算法，最新论文，OpenCV，TensorFlow，PyTorch，开源框架，学习方法...

这是我的私人微信，位置有限，一起进步！

王博的公众号，欢迎关注，干货多多

手推笔记：

增长见识：

其他学习笔记：

点分享

点收藏

点点赞

点在看