8亿参数,刷新ImageNet纪录:何恺明团队开源最强ResNeXt预训练模型
栗子 发自 凹非寺
量子位 报道 | 公众号 QbitAI
来自Facebook何恺明团队,比以往都强大ResNeXt预训练模型开源了。
它叫ResNeXt WSL,有超过8亿个参数,用Instagram上面的9.4亿张图做了 (弱监督预训练) ,用ImageNet做了微调。
注:WSL是弱监督学习,不是Windows里面的Linux。
ImageNet测试中,它的 (32×48d) 分类准确率达到85.4% (Top-1) ,打破了从前的纪录。
LeCun大佬作为公司首席AI科学家,转推了开源的喜讯,而后众人奔走相告,赞数已经超过1600。
评论区涌起了难以置信的声音:
拿ImageNet做微调??
我头一次听说,在更大的预训练集面前,ImageNet成了微调用的小语料库。
9.4亿张图?谁能做完这么多计算?
所以现在好了,你并不需要做这样大大大量的计算,可以直接从预训练的模型开始。
更好的是,开源的不止这一个模型。
究竟是有多强大
预警:先交代一下历史,后面是最新的成绩。
ResNeXt,其实诞生在2016年。
它的前辈是2015年发表的ResNet (残差网络) ,用“shortcut”这种能跳过一些层的连接方式,解决了梯度消失问题,训练几百上千层的网络不是梦。
ResNet在图像分类、目标检测、定位、分割等等项目上完胜各路对手,拿下当年CVPR最佳论文,震动了学界和工业界。
后来,作为ResNet的一个高能进化版,ResNeXt在宽度和深度之外,引入了“基数 (Cardinality) ”的概念。在网络不加深不加宽的情况下,就能提升准确率,还能减少超参数的数量。
一个101层的ResNeXt,准确率已媲美200层的ResNet。于是,它也中选了CVPR。
而这一次,ResNeXt WSL系列是在当年的基础上,又探索了弱监督 (Weakly Supervised Learning) 的可能性:
Instagram图片,没有经过特别的标注,只带着用户自己加的话题标签 (#) ,就当做预训练的数据集了。
经过9.4亿张图的预训练,再拿ImageNet去微调,四个ResNeXt模型的考试成绩如下:
团队说,比起直接用ImageNet训练,加上弱监督的预训练步骤,分类准确率有明显的提升。
其中,32×48d的准确率 (Top-1) 刷新了ImageNet的纪录。
弱监督可行,今后AI就可以在更大规模的数据集上训练/预训练了。
一行代码可调用
现在,四个预训练模型都已经开源。加载只需:
1import torch2model = torch.hub.load('facebookresearch/WSL-Images', 'resnext101_32x8d_wsl')3# or4# model = torch.hub.load('facebookresearch/WSL-Images', 'resnext101_32x16d_wsl')5# or6# model = torch.hub.load('facebookresearch/WSL-Images', 'resnext101_32x32d_wsl')7# or8#model = torch.hub.load('facebookresearch/WSL-Images', 'resnext101_32x48d_wsl')9model.eval()
说不定你已经看出来了,所有模型都已加入不久前刚发布的PyTorch Hub豪华彩蛋。所以,一小段代码便可以轻松调用。
只有一点需要注意:这次开源的模型,要求所有输入图像,都用相同的方式归一化 (Normalization) 。
具体示例,可以从文下传送门前往主页观摩。
One More Thing
在这样鸡冻人心的日子里,总有些小伙伴的关注点和其他人不一样:
他们用Instagram啊,我以后是不是要把所有的图都做个对抗样本,再发状态?(以达到欺骗AI的目的)
AI啊,你相信我,这真是一只长臂猿。(误)
ResNeXt主页:
https://pytorch.org/hub/facebookresearch_WSL-Images_resnext/
GitHub项目:
https://github.com/facebookresearch/WSL-Images/blob/master/hubconf.py
Colab Demo:
https://colab.research.google.com/github/pytorch/pytorch.github.io/blob/master/assets/hub/facebookresearch_WSL-Images_resnext.ipynb
ECCV论文:
https://arxiv.org/abs/1805.00932
作者系网易新闻·网易号“各有态度”签约作者
— 完 —
AI社群 | 与优秀的人交流
小程序 | 全类别AI学习教程
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
喜欢就点「好看」吧 !
8亿参数,刷新ImageNet纪录:何恺明团队开源最强ResNeXt预训练模型相关推荐
- ECCV2022|何恺明团队开源ViTDet:只用普通ViT,不做分层设计也能搞定目标检测...
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 作者丨张倩.小舟 来源丨机器之心 编辑丨极市平台 导读 做目标检测就 ...
- ECCV2022|何恺明团队开源ViTDet:只用普通ViT,不做分层设计也能搞定目标检测
导学 该文章证明了将普通的.非分层的视觉 Transformer 作为主干网络进行目标检测的可行性. 研究概述 论文链接:https://arxiv.org/abs/2203.16527 代码(已开源 ...
- UC伯克利博士尤洋回国创业,曾刷新ImageNet纪录!已获超千万融资
来源:量子位 曾刷新ImageNet纪录的尤洋,回国创业了! 尤洋,何许人也? 他是LAMB优化器的提出者,曾成功将预训练一遍BERT的时间,从原本的三天三夜一举缩短到一个多小时. 作为一个通用的神经 ...
- 雷军狂拿99亿奖励刷新世界纪录,营收同比大增68.3%
IT派 - {技术青年圈} 持续关注互联网.区块链.人工智能领域 小米18年中报业绩大增,小米集团如期公布了2018年二季报,财务表现非常亮眼,二季度总收入达452.36亿元,同比增长68.3%,上半 ...
- 千亿参数大模型时代,QQ浏览器团队十亿级小模型「摩天」登顶CLUE
机器之心专栏 作者:Joshua 今年以来,中文 NLP 圈陆续出现了百亿.千亿甚至万亿参数的预训练语言模型,炼大模型再次延续了「暴力美学」.但 QQ 浏览器搜索团队选择构建十亿级别参数量的「小」模型 ...
- Paper:2020年3月30日何恺明团队最新算法RegNet—来自Facebook AI研究院《Designing Network Design Spaces》的翻译与解读
Paper:2020年3月30日何恺明团队最新算法RegNet-来自Facebook AI研究院<Designing Network Design Spaces>的翻译与解读 导读: 卧槽 ...
- Facebook何恺明团队提出SlowFast网络,视频识别无需预训练
Facebook FAIR 何恺明团队提出了用于视频识别的SlowFast网络.该网络通过两条路径以不同的时间率(快和慢)进行视频识别.在没有预训练的情况下,在Kinetics数据集上的准确率达到了7 ...
- Paper之RegNet:《Designing Network Design Spaces》的翻译与解读—2020年3月30日来自Facebook AI研究院何恺明团队最新算法RegNet
Paper之RegNet:<Designing Network Design Spaces>的翻译与解读-2020年3月30日来自Facebook AI研究院何恺明团队最新算法RegNet ...
- 何恺明团队新作!Transformer遇见Mask R-CNN哪家强?
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 转载自丨极市平台 作者丨happy 导读 本文是FAIR的何恺明团队关于ViT在COCO检测任务上的迁移 ...
最新文章
- 成为真正的变革型CIO,代价几何?
- .Lucky后缀勒索病毒数据解密
- 拉格朗日插值法(Lagrange插值法)
- 利用注解 + 反射消除重复代码(Java项目)
- python获取原图GPS位置信息,轻松得到你的活动轨迹
- android jdbc 连接mysql数据库,android怎么用JDBC方法连接mysql数据库
- 第二次冲刺阶段 站立会议09
- jQuery的getter和setter
- iOS:quartz2D绘图小项目(涂鸦画板)
- 管理感悟:不要过度自我合理化
- JAVA必会算法--二分查找法
- 23数据错误循环冗余检查/无法读取源文件或磁盘 解决
- dbv oracle驱动,Oracle的DBV工具
- DDS产生波形及AM 调制解调原理
- 别让Java对象逃逸(Object Escape)
- video全局事件属性
- 计算机课excel,计算机excel教学课件.doc
- 恋人/情人/性伴侣/红颜知己
- Linux CRDA(Central Regulatory Domain Agent)
- 如何修改电脑密码(在不知道密码的前提下)