DeepMind丢掉了归一化，让图像识别训练速度提升了8.7倍 | 已开源

2024-05-29 17:46:28

金磊发自凹非寺
量子位报道 | 公众号 QbitAI

在大规模图像识别任务上，DeepMind的新方法火了。

不仅拿到了SOTA，训练速度还提升了8.7倍之多！

方法关键：去“批处理归一化”

对于大多数图像识别模型来说，批处理归一化（batch normalization）是非常重要的组成部分。

但与此同时，这样的方式也存在一定的局限性，那就是它存在许多并不重要的特征。

虽然近期的一些研究在没有归一化的情况下，成功训练了深度ResNet，但这些模型与最佳批处理归一化网络的测试精度不相匹配。

而这便是DeepMind此次研究所要解决的问题——提出了一种自适应梯度剪裁 （AGC）技术。

具体而言，这是一种叫做Normalizer-Free ResNet （NFNet）的新网络。

整体来看，NFNet的整体结构如上图所示。

以有无“transition块”来划分，可以再细分为2种情况。

其中，它们的bottleneck ratio均设置为0.5，且在3 x 3的卷积中，无论信道的数量为多少，组宽都固定为128。

二者的区别在于skip path接收信号的方式，左侧的是在用β进行variance downscaling和缩放非线性之后；而右侧则是在用β进行variance downscaling之前完成。

实验结果

在实验部分，DeepMind的研究人员，采用了与NFNet相关的7个模型做了对比实验，分别是NFNet-F0至NFNet-F6。

不难看出，在各个模型的对比过程中，在Top-1精度方面均取得了最好结果。

值得一提的是，与EfficientNet-B7相比，训练速度方面提升了8.7倍之多。

此外，在对3亿张标记图像进行大规模预训练后，在ImageNet上还取得了89.2%的Top-1精度。

最后，对于这项研究的代码，也已在GitHub上开源。

传送门

论文地址：
https://arxiv.org/abs/2102.06171

代码地址：
https://github.com/deepmind/

— 完 —

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容，未经账号授权，禁止随意转载。

推荐阅读

打击线下刷单，AI已经动手了 | WWW2021研讨会最佳论文奖

小马智行L4无人车今日量产下线，这比融资更具里程碑意义

Nature认定：中国高校论学术，中科大无悬念第一

加入AI社群，拓展你的AI行业人脉

量子位「AI社群」招募中！欢迎AI从业者、关注AI行业的小伙伴们扫码加入，与50000+名好友共同关注人工智能行业发展&技术进展：

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见~

DeepMind丢掉了归一化，让图像识别训练速度提升了8.7倍 | 已开源相关推荐

开源！让图像识别训练速度提升了8.7倍
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散仅作学术分享,不代表本公众号立场,侵权联系删除转载于:量子位 AI博士笔记系列推荐周志华<机器学习> ...
3行代码建模，训练速度提升200%？这款时序开源神器PaddleTS太强了！
时序是什么?时序预测可以为业务带来哪些价值?产品销量预测.电池剩余寿命预测--这些高价值场景如何提高预测准确率?深度学习模型在时序预测有什么优势?如何寻得一款集前沿高尖时序技术的产品,为业务所用? 近 ...
PFLD+GhostNet+MobileOne=PFLD_GhostOne，重参数化让PFLD重生，精度提升超过4%，速度提升超过55%，代码已开源
在两年前,我曾经分享过利用GhostNet对PFLD进行优化的文章--<人脸关键点检测算法PFLD的优化实战记录>,那里面介绍了经过各种奇技淫巧,GhostNet确实能够提升PFLD的 ...
单机训练速度提升高达640倍，快手开发GPU广告模型训练平台
作者|廉相如(快手FeDA智能决策实验室 ) 如何有效处理大规模用户数据进行广告推荐?对于互联网企业的发展和进步至关重要.这也是为何快手成立西雅图实验室并实现新一代GPU广告模型训练平台的原因之一.快 ...
为了不让GPU等CPU，谷歌提出“数据回波”榨干GPU空闲时间，训练速度提升3倍多...
晓查发自凹非寺量子位报道 | 公众号 QbitAI 因为通用计算芯片不能满足神经网络运算需求,越来越多的人转而使用GPU和TPU这类专用硬件加速器,加快神经网络训练的速度. 但是,用了更快的 ...
旷视孙剑博士提出LGD，训练速度提升51%，适用于目标检测的知识蒸馏
来源:新智元 [导读]知识蒸馏已经成了目前常用的模型压缩方法,但相关研究还局限在图像分类任务上.最近旷视孙剑博士联手西安交大发表了一篇论文,提出新模型LGD,无需一个强力的teacher模型也能在目标 ...
【云原生AI】Fluid + JindoFS 助力微博海量小文件模型训练速度提升 18 倍
简介: 深度学习平台在微博社交业务扮演着重要的角色.计算存储分离架构下,微博深度学习平台在数据访问与调度方面存在性能低效的问题.本文将介绍微博内部设计实现的一套全新的基于 Fluid(内含 Jindo ...
将sklearn训练速度提升100多倍，美国「返利网」开源sk-dist框架
点击我爱计算机视觉标星,更快获取CVML新技术本文经机器之心(微信公众号:almosthuman2014)授权转载,禁止二次转载选自Medium 作者:Evan Harris 机器之心编译参与: ...
谷歌提出“数据回波”榨干GPU空闲时间，训练速度提升3倍多
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散仅作分享,不代表本公众号立场,侵权联系删除转载于:量子位 AI博士笔记系列推荐周志华<机器学习>手推 ...

最新文章

热门文章