只有4页!ICLR爆款论文「Patches are all you need」
点击上方“机器学习与生成对抗网络”,关注星标
获取有趣、好玩的前沿干货!
转自:新智元
金秋十月,又到了ICLR截稿的季节!
一篇「Patches are all you need」横空出世。
堪称ICLR 2022的爆款论文,从国外一路火到国内。
509个赞,3269个转发
知乎热搜
这篇标题里不仅有「划掉」还有「表情」的论文,正文只有4页!
https://openreview.net/pdf?id=TVHS5Y4dNvM
此外,作者还特地在文末写了个100多字的小论文表示:「期待更多内容?并没有。我们提出了一个非常简单的架构和观点:patches在卷积架构中很好用。四页的篇幅已经足够了。」
这……莫非又是「xx is all you need」的噱头论文?
你只需要PATCHES
这个特立独行的论文在一开篇的时候,作者就发出了灵魂拷问:「ViT的性能是由于更强大的Transformer架构,还是因为使用了patch作为输入表征?」
众所周知,卷积网络架构常年来占据着CV的主流,不过最近ViT(Vision Transformer)架构则在许多任务中的表现出优于经典卷积网络的性能,尤其是在大型数据集上。
然而,Transformer中自注意力层的应用,将导致计算成本将与每张图像的像素数成二次方扩展。因此想要在CV任务中使用Transformer架构,则需要把图像分成多个patch,再将它们线性嵌入 ,最后把Transformer直接应用于patch集合。
在本文中作者提出了一个极其简单的模型:ConvMixer,其结构与ViT和更基本的MLP-Mixer相似,直接以patch作为输入,分离了空间和通道维度的混合,并在整个网络中保持同等大小和分辨率。不同的是,ConvMixer只使用标准的卷积来实现混合步骤。
作者表示,通过结果可以证明ConvMixer在类似的参数量和数据集大小方面优于ViT、MLP-Mixer和部分变种,此外还优于经典的视觉模型,如ResNet。
ConvMixer模型
ConvMixer由一个patch嵌入层和一个简单的完全卷积块的重复应用组成。
大小为p和维度为h的patch嵌入可以实现输入通道为c、输出通道为h、核大小为p和跨度为p的卷积。
ConvMixer模块包括depthwise卷积(组数等于通道数h的分组卷积)以及pointwise卷积(核大小为1×1)。每个卷积之后都有一个激活函数和激活后的BatchNorm:
在多次应用ConvMixer模块后,执行全局池化可以得到一个大小为h的特征向量,并在之后将其传递给softmax分类器。
ConvMixer的实例化取决于四个参数:
「宽度」或隐藏维度h(即patch嵌入的维度)
「深度」或ConvMixer层的重复次数d
控制模型内部分辨率的patch大小p
深度卷积层的核大小k
作者将原始输入大小n除以patch大小p作为内部分辨率。此外,ConvMixers支持可变大小的输入。
实验结果
在CIFAR-10上较小规模的实验表明,ConvMixers在只有0.7M参数的情况下达到了96%以上的准确率,证明了卷积归纳偏差的数据有效性。
不使用任何预训练或额外数据的情况下,在ImageNet-1k中评估对ConvMixers。将ConvMixer添加到timm框架中,并使用几乎标准的设置进行训练:默认的timm增强、RandAugment、mixup、CutMix、随机删除和梯度标准裁剪。此外,还使用了AdamW优化器和一个简单的triangular学习率时间表。
由于算力有限,模型没有在ImageNet上进行超参数调整,而且训练的epochs比竞争对手少。因此,作者表示,论文中提出的准确率可能低估了模型的能力。(是的没看错,原文就是underestimate)
结果表明,具有52M参数的ConvMixer-1536/20可以在ImageNet上达到81.4%的最高精确度,具有21M参数的ConvMixer-768/32可以达到80.2%。
此外,ConvMixer-768/32使用的参数仅为ResNet-152的三分之一,但其准确度与之类似。
在224×224的ImageNet-1k上训练和评估
更宽的ConvMixer可以在更少的epochs下就实现收敛,但对内存和计算的要求更加苛刻。当ConvMixer的卷积核更大时,效果也更好。ConvMixer-1536/20在将核大小从k=9减少到k=3时,准确性下降了≈1%。
在实验中,拥有更小patch的ConvMixers的性能更好,作者表示这是因为较大的patch需要更深的ConvMixers。
ConvMixer-1536/20的性能优于ResNet-152和ResMLP-B24,而且参数要少得多,并且与DeiT-B的性能接近。
然而,ConvMixer的推理速度大大低于竞争对手,这可能是由于其较小的patch;超参数的调整和优化可以缩小这一差距。
算法实现
网友评论
对着标题玩梗肯定是少不了的。
Chinese philosophy is all you need
Money is all you need
对此,来自华科的网友@小小将认为这篇论文实在是「名不副实」。
一位网友疯狂拆穿,认为这篇论文「吹水」得过于明显了。
甚至表示:「任何一个ViT、MLP、ResNet模型通过增大输入的patch分辨率,在把计算量提到这么大之后,性能都能比这更好。」
@陈小小表示,通篇只比参数量,不比计算量。与同精度的ResNet相比,吞吐量差得离谱。
当然了,该论文提到的ConvMixer如此简洁优雅,还是有一队网友轮番夸赞的。
@殷卓文表示,这是一篇「漂亮得不讲道理」的论文,堪称完美。
结构是常规的结构,不用调参,效果又好,怎能不香呢?
此外,也回答了之前一位网友指出的问题:「这篇论文减小patchsize,相当于增大输入token size,与vit等方法是不公平的比较。同时这篇文章的方法实际运行速度慢(throughput)。」
特斯拉AI高级总监Andrej Karpathy也赞叹道:「我被新的 ConvMixer 架构震撼了。」
对于网上这些争论,@陀飞轮表示,主要是「深度学习的控制变量都不是严格的控制变量」这个问题所造成的。
参考资料:
https://www.zhihu.com/question/492712118
https://openreview.net/pdf?id=TVHS5Y4dNvM
猜您喜欢:
等你着陆!【GAN生成对抗网络】知识星球!
CVPR 2021专题1:GAN的改进
CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总
CVPR 2021 | 图像转换 今如何?几篇GAN论文
【CVPR 2021】通过GAN提升人脸识别的遗留难题
CVPR 2021生成对抗网络GAN部分论文汇总
经典GAN不得不读:StyleGAN
最新最全20篇!基于 StyleGAN 改进或应用相关论文
超100篇!CVPR 2020最全GAN论文梳理汇总!
附下载 | 《Python进阶》中文版
附下载 | 经典《Think Python》中文版
附下载 | 《Pytorch模型训练实用教程》
附下载 | 最新2020李沐《动手学深度学习》
附下载 | 《可解释的机器学习》中文版
附下载 |《TensorFlow 2.0 深度学习算法实战》
附下载 | 超100篇!CVPR 2020最全GAN论文梳理汇总!
附下载 |《计算机视觉中的数学方法》分享
只有4页!ICLR爆款论文「Patches are all you need」相关推荐
- 火爆全网,却只有4页!ICLR爆款论文「你只需要Patch」到底香不香?
来源:新智元 [导读]顶会投稿竟只写4页?拳打ViT,脚踢MLP,Patch到底能不能成为ALL YOU NEED? 金秋十月,又到了ICLR截稿的季节! 一篇「Patches are all you ...
- CVPR 2019 爆款论文作者现场解读:视觉语言导航、运动视频深度预测、6D姿态估计...
2019年计算机视觉顶会CVPR前不久刚在美国长滩闭幕.Robin.ly在大会现场独家采访20多位热点论文作者,为大家解读论文干货.本期三篇爆款文章包括: 1. CVPR满分文章.最佳学生论文奖.结合 ...
- 爆款论文提出简单循环单元SRU:像CNN一样快速训练RNN(附开源代码)
近日,一篇题为<Training RNNs as Fast as CNNs>的 arXiv 论文通过有意简化状态计算并展现更多的并行性而提出了一个替代性的 RNN 实现,这一循环单元的运算 ...
- 出身清华姚班,斯坦福博士!她的毕业论文为何成为「爆款」?
点击上方"涛哥聊Python",选择"星标"公众号 重磅干货,第一时间送达 来源:机器之心 很少有人的博士论文能够成为「爆款文章」,但陈丹琦做到了.这位近日从斯 ...
- 出身清华姚班,斯坦福博士毕业,她的毕业论文成了「爆款」
本文转自"机器之心" 很少有人的博士论文能够成为「爆款文章」,但陈丹琦做到了.据斯坦福大学图书馆介绍,她长达 156 页的毕业论文<Neural Reading Compre ...
- AI智能写作用boardmix,文案、论文、爆款、小说一键生成!
随着Chat GPT的出圈,人工智能逐渐渗透各行各业,尤其是文案和论文的产出,AI能够帮助我们更加高效的创作,为内容提供一些灵感和思路.那么,有没有类似Chat GPT的AI写作工具,有观念.有角度. ...
- fir.im Weekly - 如何打造 Github 「爆款」开源项目
最近 Android 转用 Swift 的传闻甚嚣尘上,Swift 的 Github 主页上已经有了一次 merge>>「Port to Android」,让我们对 Swift 的想象又多 ...
- 「真香系列」新物种首发亮相 聚划算爆款孵化玩法升级
从普通商品到优质好物,差的便是那一句"真香". 2022聚划算99划算节,聚划算首发「真香系列」,为消费者精选了一批价格香.品质香.服务香的「十三香」好物.不过,聚划算的" ...
- 淘宝爆款详情页制作的几个方法(理论)
淘宝爆款详情页制作的几个方法 如果你是运营淘宝的店主,抑或是准备从事这个行业的,这个文章将会对你有很大帮助. 转载于:https://www.cnblogs.com/lanren2017/p/7746 ...
最新文章
- 阿尔伯塔大学博士毕业论文:基于图结构的自然语言处理
- Tapestry IoC Decorator
- .NET 程序测试 Java 项目 log4j2 是否存在远程代码执行漏洞
- 【完美解决方案】module ‘cv2.cv2‘ has no attribute ‘xfeatures2d‘
- 提高篇 第二部分 字符串算法 第3章 Trie字典树
- Python练习:用户登录(三次机会)
- asp 基础操作之增删改查
- java里面的内存机制_Stack vs. Heap:了解 Java 的内存分配机制
- CryptoJS加密使用
- 2022年中国物联网行业研究报告丨附下载
- 【软件应用】数学公式插件TeXsword应用教程
- [转]performSelector延时调用导致的内存泄露
- 最有经验的域名注册邮箱运营商:TOM企邮
- 2022骨传导耳机品牌那个好、排名前十的好用的骨传导耳机
- YOLOv4团队最新开源!YOLOv4改进版!!!Scaled-YOLOv4解读
- Linux主备网卡检测脚本,检测linux eth0网卡带宽的脚本
- Flash实用代码总汇
- 基于java电力设备管理系统
- 生物素化聚N-异丙基丙烯酰胺,Biotin-PNIPAM
- 【数据分析入门】R语言给定置信度水平及效应值的情况下计算所需样本量
热门文章
- 低延时的RTMP网络直播
- 科威特首个AI女主播‘费的哈“亮相“
- 一场5G毫米波引爆的频带战争
- PHP基本语法(1)
- 清华大学(软件学院)-用友网络科技股份有限公司时序数据与物联应用联合研究中心成立...
- 2022年全网最全最细最流行的自动化测试工具有哪些?
- 标准正态分布函数和反函数Ф^(-1)
- 袁沁:《第二幸福的人》这一刻,我用眼泪思念你!
- gff文件_GFF格式说明 | Public Library of Bioinformatics
- 使用tls生成腾讯云的密钥