点上方蓝字计算机视觉联盟获取更多干货

在右上方 ··· 设为星标 ★，与你不见不散

仅作分享，不代表本公众号立场，侵权联系删除

转载于：专知

AI博士笔记系列推荐

周志华《机器学习》手推笔记正式开源！可打印版本附pdf下载链接

来自伯克利ICML2020的反直觉研究成果！通过增加模型尺寸来提升Transformer的训练与推理！重压缩，大模型比轻压缩，小模型获得更高的准确度。

由于硬件资源有限，深度学习模型的训练目标通常是在训练和推理的时间和内存限制下最大化准确性。在这种情况下，我们研究了模型大小的影响，关注计算受限的NLP任务的Transformer模型:自监督的预训练和高资源机器翻译。我们首先展示了，尽管较小的Transformer模型在每次迭代中执行得更快，但更广、更深入的模型在显著更少的步骤中收敛。此外，这种收敛速度通常超过了使用更大模型的额外计算开销。因此，计算效率最高的训练策略是反直觉地训练非常大的模型，但在少量迭代后停止。

这导致了大型Transformer 模型的训练效率和小型Transformer 模型的推理效率之间的明显权衡。然而，我们表明大模型比小模型在压缩技术(如量化和剪枝)方面更健壮。因此，一个人可以得到最好的两个好处: 重压缩，大模型比轻压缩，小模型获得更高的准确度。

https://www.zhuanzhi.ai/paper/4d7bcea8653fcc448137766511ec7d8a

https://bair.berkeley.edu/blog/2020/03/05/compress/

概述：

在当前的深度学习范式中，使用更多的计算(例如，增加模型大小、数据集大小或训练步骤)通常会导致更高的模型准确度(brock2018large;raffel2019exploring)。最近自监督预训练的成功进一步论证了这种趋势。因此，计算资源日益成为提高模型准确度的关键制约因素。这个约束导致模型训练的(通常是隐含的)目标是最大化计算效率:如何在固定的硬件和训练时间下达到最高的模型准确度。

最大化计算效率需要重新考虑关于模型训练的常见假设。特别是，有一个典型的隐式假设，即模型必须经过训练直到收敛，这使得较大的模型在有限的计算预算下显得不太可行。我们通过展示以收敛为代价来增加模型大小的机会来挑战这一假设。具体地说，我们表明，训练Transformer 模型的最快方法(vaswani2017attention)是大幅度增加模型大小，但很早停止训练。

在我们的实验中，我们改变了Transformer模型的宽度和深度，并在自监督的预训练(RoBERTa (liu2019roberta)在Wikipedia和BookCorpus上训练)和机器翻译(WMT14英语→法语)上评估了它们的训练时间和准确性。对于这些任务，我们首先展示了更大的模型比更小的模型在更少的梯度更新中收敛到更低的验证错误(第3节)。此外，这种收敛速度的增加超过了使用更大模型所带来的额外计算开销——计算效率最高的模型是非常大的，并且远远不能收敛(例如，图2，左)。我们还表明，收敛的加速主要是参数计数的函数，只有模型宽度、深度和批大小的微弱影响。

虽然较大的模型训练速度更快，但它们也增加了推理的计算和内存需求。这种增加的成本在现实应用中尤其成问题，推理成本占主要比例(jouppi2017datacenter;crankshaw2017clipper;metz2017tpu)。然而，对于RoBERTa来说，这种权衡可以与压缩相协调:与小型模型相比，大型模型在压缩方面更加健壮(第4节)。因此，使用可比较的推理成本，大型重压缩的模型优于小型轻压缩的模型(例如，图2，右)。

end

这是我的私人微信，还有少量坑位，可与相关学者研究人员交流学习 

目前开设有人工智能、机器学习、计算机视觉、自动驾驶（含SLAM）、Python、求职面经、综合交流群扫描添加CV联盟微信拉你进群，备注：CV联盟

王博的公众号，欢迎关注，干货多多

王博的系列手推笔记（附高清PDF下载）：

博士笔记 | 周志华《机器学习》手推笔记第一章思维导图

博士笔记 | 周志华《机器学习》手推笔记第二章“模型评估与选择”

博士笔记 | 周志华《机器学习》手推笔记第三章“线性模型”

博士笔记 | 周志华《机器学习》手推笔记第四章“决策树”

博士笔记 | 周志华《机器学习》手推笔记第五章“神经网络”

博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机（上）

博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机（下）

博士笔记 | 周志华《机器学习》手推笔记第七章贝叶斯分类（上）

博士笔记 | 周志华《机器学习》手推笔记第七章贝叶斯分类（下）

博士笔记 | 周志华《机器学习》手推笔记第八章（上）

博士笔记 | 周志华《机器学习》手推笔记第八章（下）

博士笔记 | 周志华《机器学习》手推笔记第九章

点个在看支持一下吧