谷歌大脑提出gMLP：请多多关注MLP

2024-04-10 00:42:28

研究表明：自注意力对于视觉Transformer并不重要，因为gMLP可以达到相同的精度，性能优于ResMLP、MLP-Mixer等网络，可比肩DeiT等，在视觉和语言任务中通吃！可媲美Transformer！

注1：文末附【视觉Transformer】交流群

注2：整理不易，欢迎点赞，支持分享！

想看更多CVPR 2021论文和开源项目可以点击：

CVPR2021-Papers-with-Code

gMLP

Pay Attention to MLPs

作者单位：谷歌大脑（Quoc V. Le）
论文下载链接：https://arxiv.org/abs/2105.08050

Transformers已成为深度学习中最重要的架构创新之一，并在过去几年中实现了许多突破。在这里，我们提出了一个简单的，无需注意力的网络体系结构gMLP，该体系结构仅基于带有gating的MLP，并显示了它在语言和视觉应用中的性能可与Transformer媲美。

gMLP细节（建议去看原文）：

实验结果

用于视觉的gMLP模型：

我们的比较表明，自注意力对于视觉Transformer并不重要，因为gMLP可以达到相同的精度。

用于语言的gMLP模型：

对于BERT，我们的模型在预训练的Perplexity上与Transformers达到了同等水平，并且在某些下游任务上表现更好。

在gMLP性能较差的微调任务上，使gMLP模型大大变大可以缩小与Transformer的差距。总的来说，我们的实验表明，gMLP可以在增加的数据和计算方面进行缩放，也可以在Transformer中进行缩放。

CVer-视觉Transformer交流群

建了CVer-Transformer交流群！想要进Transformer学习交流群的同学，可以直接加微信号：CVer9999。加的时候备注一下：Transformer+学校+昵称，即可。然后就可以拉你进群了。

强烈推荐大家关注CVer知乎账号和CVer微信公众号，可以快速了解到最新优质的CV论文。

谷歌大脑提出gMLP：请多多关注MLP相关推荐

EfficientDet：COCO 51.0 mAP！谷歌大脑提出目标检测新标杆
点击我爱计算机视觉标星,更快获取CVML新技术昨天谷歌大脑团队发布了论文 EfficientDet: Scalable and Efficient Object Detection ,通过改进 FP ...
谷歌大脑提出“洗发水”二阶优化算法，Transformer训练时间减少40%，Jeff Dean点赞...
晓查发自凹非寺量子位报道 | 公众号 QbitAI 机器学习的优化步骤,目前都是一阶方法主导. 无论是SGD还是Adam,此类优化算法在都是计算损失函数的一阶导数--梯度,然后按照某种规定的 ...
比9种SOTA GNN更强！谷歌大脑提出全新图神经网络GKATs
来源:Google.新智元本文约2550字,建议阅读5分钟本文为你介绍谷歌大脑与牛津大学.哥伦比亚大学的研究人员提出的一种全新GNN:GKATs. [ 导读 ]GNN虽牛,但也避免不了计算复杂性等问 ...
谷歌大脑提出EfficientNet平衡模型扩展三个维度，取得精度-效率的最大化！
点击我爱计算机视觉标星,更快获取CVML新技术今天要跟大家重磅介绍上午谷歌大脑新出的论文<EfficientNet: Rethinking Model Scaling for Convolut ...
重磅！谷歌大脑提出EfficientNet平衡模型扩展三个维度，取得精度-效率的最大化！...
点击我爱计算机视觉标星,更快获取CVML新技术今天要跟大家重磅介绍上午谷歌大脑新出的论文<EfficientNet: Rethinking Model Scaling for Convolut ...
谷歌大脑提出DropBlock卷积正则化方法，显著改进CNN精度
点击我爱计算机视觉标星,更快获取CVML新技术昨天arXiv新上一篇被NIPS2018会议接收的论文<DropBlock: A regularization method for convol ...
边做边思考，谷歌大脑提出并发RL算法，机械臂抓取速度提高一倍！
选自arXiv 作者:Ted Xiao 等机器之心编译机器之心编辑部 RL 算法通常假设,在获取观测值.计算动作并执行期间环境状态不发生变化.这一假设在仿真环境中很容易实现,然而在真实机器人控制当 ...
告别深度学习炼丹术！谷歌大脑提出“权重无关”神经网络
来源:新智元本文约5600字,建议阅读10+分钟. 无需权重训练!谷歌再向深度学习炼丹术发起"攻击". [ 导读 ]神经网络训练中"权重"有多重要不言而喻.但 ...
cut out数据增强_谷歌大脑提出自动数据增强方法AutoAugment：可迁移至不同数据集...
近日,来自谷歌大脑的研究者在 arXiv 上发表论文,提出一种自动搜索合适数据增强策略的方法 AutoAugment,该方法创建一个数据增强策略的搜索空间,利用搜索算法选取适合特定数据集的数据增强策略 ...
89.77%准确率！谷歌大脑提出CoAtNet：结合卷积和注意力
本文系统调研了CNN和Transformer的特性,并将两者结合提出新的家族式网络:CoAtNet,无额外数据时高达86%准确率,在JFT加持下,高达89.77%!性能优于CvT.BotNet和Swi ...

最新文章

热门文章