谷歌新模型刷新ImageNet纪录,第一作者是上海交大毕业生谢其哲
2019-11-14 01:43:36
鱼羊 发自 凹非寺
量子位 报道 | 公众号 QbitAI
谷歌的EfficientNet进化之后,又刷新了ImageNet纪录。
这个叫Noisy Student的新模型,将ImageNet图像分类的top-1准确率提高到了87.4%,比此前最好的FixResNetXt-101 32×48d高出了1个百分点。
更令人惊叹的是,在ResNeXt-101 32×48d只达到了16.6%top-1准确率的ImageNet-A测试集上,Noisy Student一举将准确率提高到了74.2%。
新模型来自谷歌大脑首席科学家Quoc V. Le的团队,而论文第一作者,则是毕业于上海交大ACM班的谢其哲,目前正在CMU攻读博士,是谷歌大脑的学生研究员。
实现方法
提升如此明显,但方法却并不复杂。Noisy Student是站在了EfficientNet这位“名师”的肩膀上。
第一步,是用ImageNet中带标签的图像训练EfficientNet。
EfficientNet是谷歌开源的缩放模型,基于AutoML开发, 初登场就刷新了ImageNet的纪录,准确度为84.4%(top-1)和97.1%(top-5),并且模型更小更快,效率提升达10倍之多。
对于这一模型,量子位做过详细的解读:https://mp.weixin.qq.com/s/DCRpBUJE98ckZnrouuVo6Q
第二步,在一个更大规模的数据集上,用EfficientNet给无标签图片打上伪标签。
这一步中,研究人员选择的是谷歌的JFT数据集。这一数据集拥有300M图片,是ImageNet的300倍。
然后,将有标签的图像和被打上伪标签的图像组合起来,训练一个更大的学生模型。
新的学生模型又会成为新的老师,迭代这一过程。
在生成伪标签的过程中,教师模型不会被噪声干扰,以便提高伪标签的置信度。
但学生模型在训练的过程中,会面临来自随机深度、dropout和RandAugment带来的噪声干扰。这就迫使学生模型不得不从伪标签中进行学习。
在训练的过程中,EfficientNet也会不断更新。其中,最大的模型EfficientNet-L2需要在2048核的Cloud TPU v3 Pod上训练3.5天。
性能表现
开头已经提到,这个新的Noisy Student模型再一次刷新了ImageNet的纪录,现在来看看它的具体战绩:
在top-1准确率上,EfficientNet和Noisy Student的组合将最佳成绩提高了1个百分点,并且模型的参数规模远小于Facebook的FixResNetXt-101 32×48d。
而在更加严格测试集上,Noisy Student的进步更为显著。
ImageNet-A测试集包含7500个自然对抗样本,会导致SOTA模型的准确率大大下降。比如来自Facebook的知名选手ResNeXt-101 32×48d,就只能达到16.6%的top-1准确率。
在这个基准当中,Noisy Student一举将top-1准确率从16.6%提高到了74.2%。
Image-C和Image-P测试集则包含了模糊、雾化、旋转和缩放过的图像。换句话说,测试图像完全不同于模型的训练数据。
在ImageNet-C上,Noisy Student将平均错误率从45.7降到了31.2。
在ImageNet-P上,Noisy Student将平均翻转率从27.8降到了16.2。
也就是说,这个新模型不仅准确率又进一步,在鲁棒性上,更是实现了惊人的进步。
根据论文作者介绍,模型代码将尽快释出,不妨先mark一下~
传送门
论文地址:
https://arxiv.org/abs/1911.04252
— 完 —
谷歌新模型刷新ImageNet纪录,第一作者是上海交大毕业生谢其哲相关推荐
- 从16.6%到74.2%,谷歌新模型刷新ImageNet纪录,第一作者是上海交大毕业生谢其哲...
鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 谷歌的EfficientNet进化之后,又刷新了ImageNet纪录. 这个叫Noisy Student的新模型,将ImageNet图像分 ...
- UC伯克利博士尤洋回国创业,曾刷新ImageNet纪录!已获超千万融资
来源:量子位 曾刷新ImageNet纪录的尤洋,回国创业了! 尤洋,何许人也? 他是LAMB优化器的提出者,曾成功将预训练一遍BERT的时间,从原本的三天三夜一举缩短到一个多小时. 作为一个通用的神经 ...
- 刷新ImageNet纪录,GAN不只会造假!DeepMind用它做图像分类,秒杀职业分类AI
栗子 边策 发自 凹非寺 量子位 报道 | 公众号 QbitAI 往日,GAN的光芒几乎全部集中在生成的图像上. 生成不存在的妹子. △ 来自英伟达StyleGAN 生成不存在的老婆. △ 来自英伟达 ...
- 8亿参数,刷新ImageNet纪录:何恺明团队开源最强ResNeXt预训练模型
栗子 发自 凹非寺 量子位 报道 | 公众号 QbitAI 来自Facebook何恺明团队,比以往都强大ResNeXt预训练模型开源了. 它叫ResNeXt WSL,有超过8亿个参数,用Instag ...
- 谷歌新模型突破BERT局限:NLP版「芝麻街」新成员Big Bird长这样
萧箫 发自 凹非寺 量子位 报道 | 公众号 QbitAI 最新消息,谷歌推出了NLP系列「芝麻街」的新成员Big Bird. 这个在外界眼中看起来有点可爱的动漫小鸟,摇身一变,解决了BERT模型中的 ...
- 史上AI最高分!谷歌大模型创美国医师执照试题新纪录,科学常识水平媲美人类医生...
杨净 羿阁 发自 凹非寺 量子位 | 公众号 QbitAI 史上AI最高分,谷歌新模型刚刚通过美国医师执照试题验证! 而且在科学常识.理解.检索和推理能力等任务中,直接与人类医生水平相匹敌.在一些临床 ...
- UC伯克利博士尤洋回国创业,求学期间破ImageNet纪录!已获超千万种子轮融资
明敏 发自 凹非寺 量子位 报道 | 公众号 QbitAI 曾刷新ImageNet纪录的尤洋,回国创业了! 尤洋,何许人也? 他是LAMB优化器的提出者,曾成功将预训练一遍BERT的时间,从原本的三天 ...
- UC伯克利博士尤洋回国创业,曾破ImageNet纪录!已获超千万融资
曾刷新ImageNet纪录的尤洋,回国创业了! 尤洋,何许人也? 他是LAMB优化器的提出者,曾成功将预训练一遍BERT的时间,从原本的三天三夜一举缩短到一个多小时. 作为一个通用的神经网络优化器,L ...
- 谷歌全新轻量级新模型ALBERT刷新三大NLP基准
谷歌全新轻量级新模型ALBERT刷新三大NLP基准 ICLR 2020提交论文数量达到2594篇,比去年增加了近1000篇.其中,来自谷歌的一篇论文引起格外瞩目,该论文提出ALBERT模型,比BERT ...
最新文章
- java语言适合编写什么_01--Java语言概述与开发环境 最适合入门的Java教程
- Perl学习笔记(2)
- Spark ML - 聚类算法
- 前端学习(3339):ant design中加上icon图标
- oracle数据库图书,基于oracle数据库,创建图书表(一)
- pku2750 Potted Flower
- Xcode误删Images.xcassets文件夹的恢复办法(Assets.xcassets)
- ZABBIX Agent2监控docker
- 告别码公式的痛苦,公式OCR终于来了!
- Windows下使用SSH命令登录Linux服务器
- 正余弦变换、和差、倍角公式
- Java 全国省市接口
- 【qduoj】【yzm10与大富翁的故事】(hdu百度之星)
- 【芯片使用】PCF8591
- 用程序实现基本计算器功能
- tesla p100 linux,服务器(Tesla P100)Ubuntu16.04+显卡驱动+cuda8.0+cudnn7.0.5
- 带你认识网络世界,什么是网络协议、分层有什么好处
- 程序员年薪30万,却被丈母娘果断拒绝!网友:就不能一起奋斗吗
- 随机颜色十六进制(#ffffff)或rgb格式
- 【学习总结】VIO初始化学习1:Monocular Visual–Inertial State Estimation With Online Initialization and Camera–IMU