谷歌用3亿张图做了个深度学习实验,结论:数据还是越大越好
陈桦 编译自 Google Blog
量子位 报道 | 公众号 QbitAI
都说深度学习的兴起和大数据息息相关,那么是不是数据集越大,训练出的图像识别算法准确率就越高呢?
Google的研究人员用3亿张图的内部数据集做了实验,然后写了篇论文。他们指出,在深度模型中,视觉任务性能随训练数据量(取对数)的增加,线性上升。
以下是Google Research机器感知组指导教师,卡耐基梅隆大学助理教授Abhinav Gupta对这项工作的介绍,发布在Google Research官方博客上,量子位编译:
过去10年,计算机视觉技术取得了很大的成功,其中大部分可以归功于深度学习模型的应用。此外自2012年以来,这类系统的表现能力有了很大的进步,原因包括:
1)复杂度更高的深度模型;
2)计算性能的提升;
3)大规模标签数据的出现。
每年,我们都能看到计算性能和模型复杂度的提升,从2012年7层的AlexNet,发展到2015年101层的ResNet。
然而,可用数据集的规模却没有成比例地扩大。101层的ResNet在训练时仍然用着和AlexNet一样的数据集:ImageNet中的10万张图。
作为研究者,我们一直在关注这样的问题:如果能将训练数据集扩大10倍,精确度是否会有成倍的提升?如果数据集扩大100倍或300倍又会怎样?精确度会停滞不前,还是随着数据量的增长不断提升?
△ 过去5年间,GPU计算力和模型复杂度都在持续增长,但训练数据集的规模没有任何变化
在论文Revisit the Unreasonable Effectiveness of Data中,我们迈出了第一步,探索“大量数据”与深度学习之间的关系。我们的目标是研究:
1)使用当前的算法,如果提供越来越多带噪声标签的图片,视觉表现是否仍然可以得到优化;
2)对于标准的视觉任务,例如分类、对象探测,以及图像分割,数据和性能之间的关系是什么;
3)利用大规模学习技术,开发能胜任计算机视觉领域各类任务的最先进的模型。
当然,问题的关键在于,我们要从何处找到比ImageNet大300倍的数据集。
Google一直努力构建这样的数据集,以优化计算机视觉算法。在Geoff Hinton、Francois Chollet等人的努力下,Google内部构建了一个包含3亿张图片的数据集,将其中的图片标记为18291个类,并将其命名为JFT-300M。
图片标记所用的算法混合了复杂的原始网络信号,以及网页和用户反馈之间的关联。
通过这种方法,这3亿张图片获得了超过10亿个标签(一张图片可以有多个标签)。在这10亿个标签中,约3.75亿个通过算法被选出,使所选择图片的标签精确度最大化。然而,这些标签中依然存在噪声:被选出图片的标签约有20%是噪声。
我们的实验验证了一些假设,但也带来了意料之外的结果:
更好的表征学习(Representation Learning)能带来帮助。
我们观察到的首个现象是,大规模数据有助于表征学习,从而优化我们所研究的所有视觉任务的性能。
我们的发现表明,建立用于预训练的大规模数据集很重要。这还说明无监督表征学习,以及半监督表征学习方法有良好的前景。看起来,数据规模继续压制了标签中存在的噪声。
随着训练数据数量级的增加,任务性能呈线性上升。
或许最令人惊讶的发现在于,视觉任务性能和表现学习训练数据量(取对数)之间的关系。我们发现,这样的关系仍然是线性的。即使训练图片规模达到3亿张,我们也没有观察到性能上升出现停滞。如下图所示:
模型容量非常关键。
我们观察到,如果希望完整利用3亿张图的数据集,我们需要更大容量(更深)的模型。
例如,对于ResNet-50,COCO对象探测得分的上升很有限,只有1.87%,而使用ResNet-152,这一得分上升达到3%。
新的最高水准结果。
我们的论文用JFT-300M去训练模型,多项得分都达到了业界最高水准。例如,对于COCO对象探测得分,单个模型目前可以实现37.4 AP,高于此前的34.3 AP。
需要指出,我们使用的训练体系、学习进度以及参数基于此前用ImageNet 1M图片训练ConvNets获得的经验。
由于我们并未在这项工作中探索最优的超参数(这将需要可观的计算工作),因此很有可能,我们还没有得到利用这一数据集进行训练能取得的最佳结果。因此我们认为,量化的性能报告可能低估了这一数据集的实际影响。
这项工作并未关注针对特定任务的数据,例如研究更多边界框是否会影响模型的性能。我们认为,尽管存在挑战,但获得针对特定任务的大规模数据集应当是未来研究的一个关注点。
此外,构建包含300M图片的数据集并不是最终目标。我们应当探索,凭借更庞大的数据集(包含超过10亿图片),模型是否还能继续优化。
Google Research Blog原文:https://research.googleblog.com/2017/07/revisiting-unreasonable-effectiveness.html
相关论文:Revisiting the Unreasonable Effectiveness of Data
https://arxiv.org/abs/1707.02968
你可能还关心那个3亿张图的数据集。它目前还是Google内部用品,这两篇论文提到过它:
Distilling the Knowledge in a Neural Network
Geoffrey Hinton, Oriol Vinyals, Jeff Dean
https://arxiv.org/abs/1503.02531
Xception: Deep Learning with Depthwise Separable Convolutions
Franc¸ois Chollet
https://arxiv.org/abs/1610.02357
【完】
看完本文有收获?请转发分享给更多人
欢迎关注“互联网架构师”,我们分享最有价值的互联网技术干货文章,助力您成为有思想的全栈架构师,我们只聊互联网、只聊架构,不聊其他!打造最有价值的架构师圈子和社区。
本公众号覆盖中国主要首席架构师、高级架构师、CTO、技术总监、技术负责人等人 群。分享最有价值的架构思想和内容。打造中国互联网圈最有价值的架构师圈子。
长按下方的二维码可以快速关注我们
如想加群讨论学习,请点击右下角的“加群学习”菜单入群
谷歌用3亿张图做了个深度学习实验,结论:数据还是越大越好相关推荐
- Facebook提出SEER:13亿参数,10亿张图,无需标记,自监督训练数据集!
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 本文转载自:机器之心 | 编辑:陈萍 Facebook AI 用 10 亿张来自Instagram的随机 ...
- java怎么判断mysql中是否存在我们查找的索引_10张图告诉你,MySQL 是如何查找数据的?...
在我们日常生活中经常会涉及到查找某个东西的场景,就比如说在一个学校里吧,我们想找出个子"最高的10个"同学,或者想查找姓名是"张三"的同学,又或者是查找学号是& ...
- mysql 如何把整列数据*10_10张图告诉你,MySQL 是如何查找数据的?
在我们日常生活中经常会涉及到查找某个东西的场景,就比如说在一个学校里吧,我们想找出个子"最高的10个"同学,或者想查找姓名是"张三"的同学,又或者是查找学号是& ...
- 第一篇学术演讲准备两个月,去了谷歌却做不了深度学习,听Facebook田渊栋谈人生挑战与选择...
视学算法转载 来源:从零道一 (公众号ID:goto0011) 第一次 15 分钟的演讲准备了两个月.毕业就进谷歌却只能当螺丝钉.从研究员到研究经理面临角色转换-- 在最近的一次访谈中,Faceboo ...
- 谷歌开放语音命令数据集,助力初学者利用深度学习解决音频识别问题
语音命令数据集地址:http://download.tensorflow.org/data/speech_commands_v0.01.tar.gz 音频识别教程地址:https://www.tens ...
- opencv交通标志识别_教你从零开始做一个基于深度学习的交通标志识别系统
教你从零开始做一个基于深度学习的交通标志识别系统 基于Yolo v3的交通标志识别系统及源码 自动驾驶之--交通标志识别 在本文章你可以学习到如何训练自己采集的数据集,生成模型,并用yolo v3算法 ...
- 树莓派计算机组装,谷歌推出树莓派计算机视觉盒子,自己动手组装深度学习套件...
原标题:谷歌推出树莓派计算机视觉盒子,自己动手组装深度学习套件 今年早些时候,旨在帮助创客(maker)体验和了解人工智能AIY项目启动.第一个产品AIY语音工具包大获成功,人们创造了许多漂亮的的项目 ...
- 资源 | 8张思维导图帮你梳理深度学习机器学习多个知识点
向AI转型的程序员都关注了这个号☝☝☝ 整理 | suiling 本文是对作者@Daniel Martinez(https://twitter.com/danielmartinezf)在GitHub上 ...
- 3年半巨亏242亿!商汤高估了深度学习,下错了棋?
转自:新智元 三年半研发开支近70亿,累计亏损242亿. AI这门生意好像越来越不好做了. 近日,商汤科技已向港交所递交IPO申请.招股书显示,商汤近三年半累计扣非净亏损242亿元. 有网友便提出疑问 ...
- 图神经网络应用——基于深度学习的图相似度计算(以SIMGNN为例的保姆级讲解)
为啥想写这篇文章呢..因为之前提到的图神经网络应用篇鸽了一年多了,把自己的研究方向做一个总结,并向其他同样研究方向的朋友做一个报告,如有错误,敬请指出.而且,这个研究方向人太少了,万望能借此引起更多人 ...
最新文章
- 分布式计算开源框架Hadoop入门实践
- Nginx之rewrite:域名与二级目录之间的跳转
- 【Todo】Zookeeper系列文章
- Android SQLite (一) 数据库简介
- JVM内存管理------GC算法精解(五分钟让你彻底明白标记/清除算法)
- leetcode359. 日志速率限制器
- java 多线程 临界区_多线程编程的设计模式 临界区模式
- linux expect案例用法
- 两个offer如何做选择?年薪20万vs年薪15万
- NVIDIA 显卡信息(CUDA信息的查看)
- matlab有shapely包吗,[哈工大]Modelarts NPU 安装shapely包失败
- 奥鹏刷分软件_奥鹏学员挂积分器专业代挂积分全部免费使用
- 《普林斯顿微积分读本》个人读书笔记
- 在Eclipse中安装Maven插件
- http解析库http-parser
- 马克思 第一章 世界的物质性及其发展规律
- python报错:fails to pass a sanity check due to a bug in the windows runtime
- bugku-post
- 原创|Android Jetpack Compose 最全上手指南
- python pandas库作用_python pandas库的一些使用总结