活久见!谷歌开源“大杀器”,CV、NLP都能用!
点击上方“视学算法”,选择加"星标"或“置顶”
重磅干货,第一时间送达
萧箫 发自 凹非寺
来自 | 量子位
好消息,谷歌将AutoML算法库开源了!
这个名为“模型搜索”(Model Search)的平台,不仅可以用多个AutoML算法自动写出你想要的AI模型,还能帮你选出写得最好的那个。
最重要的是,各个领域都能用。
也就是说,以往只支持NLP、图像分类等等单一领域模型搜索的AutoML算法,现在被整合到了一个平台上,可以帮你构建任何AI模型。
现在,无需再重新设计参数、或反复微调,“AI设计师”就能帮你写出想要的模型。
“模型搜索”是个什么平台
此前,AutoML算法已经被应用到了各个领域,用来减轻神经网络设计专家的负担。
这种算法,目的是让AI来设计神经网络,自动对网络深度、层类型、结构、优化算法等因素进行合理搭配,效果通常比人工直接设计更好。
然而,这种由AI来设计AI模型的方法,会面临两个问题。
其一,这些算法通常只能针对某一特定领域,无法被应用到其他领域中。
例如针对NLP的AutoML算法,就无法设计出图像分类的AI模型。
其二,计算量很大。
之前的NAS和PNAS算法,往往需要训练数千个模型,才能找到效果最好的。
针对这两个问题,谷歌现在推出了“模型搜索”开源平台,致力于解决它们。
这个系统由多个训练器(trainer)、1个搜索算法、1个迁移学习算法和1个包含多种评估模型的数据库构成。
过程中,每个训练器都会独立地构建模型、进行试验,但这些训练器能共享数据,并采用横向搜索,决定下一步尝试什么样的模型。
“模型搜索”能根据一组预定义模块,来构建神经网络模型,每个模块包含一个经典微结构,包括LSTM、ResNet或是Transformer中的某些层等等。
这种微结构的模式,也减少了搜索规模,因为它探索的是这些模型的结构,而非更详细的基本部分。
而为了进一步提高效率和准确性,这一算法还能在训练器完成各种实验时,进行迁移学习。主要通过知识提取和参数分配两种方法。
通过知识提取,新模型可以从高性能模型中借鉴损失函数,提高自身准确性;而通过参数分配,新模型采用之前训练模型中的部分参数,并初始化剩余的参数,就能训练得更快。
在逐渐迭代的过程中,最好的模型就被“搜索”出来了。
谷歌表示,“模型搜索”是个具有自适应性、贪婪性、而且比强化学习算法收敛速度更快的算法。
这个算法,目前具有如下功能:
可以在数据上运行多个AutoML算法,可以自动搜索合适的模型结构、模型融合方法,并选择最佳模型。
可以比较在搜索时发现的不同模型;
可以自行设计特殊的神经网络层并应用。
目前,“模型搜索”支持Tensorflow框架。
也就是说,各模块都能实现任何以张量为输入的函数。
比人类设计得好,比PNAS更高效
经过实验,“模型搜索”平台搞出来的AI模型,确实还不错。
作者们用“模型搜索”平台,试着写了个语音AI模型,主要功能是关键字检测和语言识别。
下图中,实线是AI写出来的模型迭代精度,虚线则是此前人工设计出的SOTA模型。
显然,无论是最小迭代次数、还是最后的迭代精度,“模型搜索”平台用AI写出的模型,都比人工设计的要好得多。
也就是说,设计所用的参数量更少了(相比于人工设计的31.5万,AI只需要18.4万),精度反而还上升了。
那么,这个“模型搜索”框架的搜索效果,相比于其他用AI写AI模型的搜索算法,哪个效果更好?
作者们用CIFAR-10数据集试了试图像分类模型。
测试发现,用AutoML尝试写了209个模型后,最好的模型就已经达到了91.83%的精确度。
而此前,NasNet需要尝试5807次、PNAS需要尝试1160次,才能达到相同的精度。
也就是说,用这个平台设计的AI模型,不仅能达到在某些领域达到比人类设计更好的效果,还比其他“AI设计师”速度更快。
不想辛苦调参的话,这绝对是个非常理想的模型设计平台了。
不包含全部AutoML算法
所以,谷歌当真就把自己之前的收费项目开源了?
不不不。
更高级的AutoML算法,目前还是要收费的。
这是个名为AutoML Tables的项目,无需写代码,它就能帮你自动构建和部署最先进的机器学习模型。
而性能最优的AutoML算法,目前都包含在这里面了。
目前,谷歌已经将AutoML、MLOps、AI Platform整合到一起,成为了一个更大的AI Platform平台。
当然,也是要付费的。
也就是说,目前开源的这个“模型搜索”平台,只包含一部分AutoML算法。
作者介绍
Hanna Mazzawi,谷歌研究工程师,研究方向是机器学习、算法设计和分析、数学软件。
Xavi Gonzalvo,硕博均毕业于西班牙拉蒙尤以大学(Ramon Llull University),目前在谷歌任研究科学家,从事机器智能相关的工作。
如果想快速写出需要的AI模型,可以上手这个项目了~
项目地址:
https://github.com/google/model_search
参考链接:
https://cloud.google.com/automl-tables
https://ai.googleblog.com/2021/02/introducing-model-search-open-source.html
点个在看 paper不断!
活久见!谷歌开源“大杀器”,CV、NLP都能用!相关推荐
- 还在用 Dockerfile 部署 Spring Boot?out 啦!试试谷歌的大杀器 Jib
之前gblfy和大家分享过一篇将 Spring Boot 项目部署到远程 Docker 上的文章: 一键部署 Spring Boot 到远程 Docker 容器 但是这种部署有一个问题,就是一个小小的 ...
- 谷歌这个大杀器要让英伟达慌了,实战评测:TPU相比GPU简直又快又省
岳排槐 发自 凹非寺 量子位 出品 | 公众号 QbitAI 对于大多数搞深度学习的人来说,英伟达GPU之外其实没有更多选择.然而谷歌TPU芯片的出现,有望改变这一现状. 这个大名鼎鼎的AI芯片,即是 ...
- 被Linux之父骂醒?英伟达破天荒开源GPU内核驱动,网友:活久见
终于等到了这一天:英伟达开源了他们的 Linux GPU 内核驱动. 「英伟达是我们遇到的硬件厂商中最麻烦的一个.」这是 Linux 内核总设计师 Linus Torvalds 十年前说过的一句原话. ...
- bucket sort sample sort 并行_IBM布局AI硬件大杀器:硬软件并行开发、开源模拟AI工具包...
原标题:IBM布局AI硬件大杀器:硬软件并行开发.开源模拟AI工具包 智东西(公众号:zhidxcom) 编 | 子佩 智东西11月4日消息,为了解决AI对数据.能源和内存资源的巨大需求,IBM一直致 ...
- 谷歌又崩了!连 Google Search 都不能用,官方道歉,网友:活久见
在疫情所导致的隔离之下,你很难不依赖互联网带来的沟通便利. 然而,谁能想象到,就在疫情快速在全球蔓延的境况之下,Google,这个世界级的互联网科技巨头,却出现了服务崩溃的情况,甚至让 Google ...
- 并行化-你的高并发大杀器
作者:咖啡拿铁,现就职于美团点评,后端研发 来自:公众号咖啡拿铁(ID:code_3092860495) 1.前言 想必热爱游戏的同学小时候,都幻想过要是自己要是能像鸣人那样会多重影分身之术,就能一边 ...
- [NewLife.XCode]反向工程(自动建表建库大杀器)
NewLife.XCode是一个有10多年历史的开源数据中间件,支持nfx/netstandard,由新生命团队(2002~2019)开发完成并维护至今,以下简称XCode. 整个系列教程会大量结合示 ...
- 性能提升一个数量级,大杀器来了!| 文内福利
经过多年的演进,Java语言的功能和性能都在不断地发展和提高,但是冷启动开销较大的问题长期存在,难以从根本上解决.本文先讨论冷启动问题的根本原因,然后介绍一种新近提出的彻底解决Java冷启动问题的技术 ...
- xcode修改时间后就要重新编译_[NewLife.XCode]反向工程(自动建表建库大杀器)
NewLife.XCode是一个有10多年历史的开源数据中间件,支持nfx/netstandard,由新生命团队(2002~2019)开发完成并维护至今,以下简称XCode. 整个系列教程会大量结合示 ...
最新文章
- Math类(工具类)
- C语言中printf是不是关键字,C语言中printf是什么意思
- 解决MATLAB不能设置为.m文件默认打开方式
- MyFlash——美团点评的开源MySQL闪回工具
- python 动态编译代码,Python:在运行时动态创建函数
- SQL表名,应该用复数还是单数
- “富豪相亲大会”究竟迷失了什么?
- Spring3中的mvc:interceptors标签配置拦截器
- 使用HighCharts实现实时数据展示
- 完美刷机找不到服务器,完美刷机
- python实现DES加密解密
- ofo 成了一个披着「退押金」的电商导购平台?
- 图像处理之图像噪声和各种噪声的matlab实现
- excel怎么一个格子斜分_表格excel怎样把一格用斜线分为三格
- sprd 11.0修改关机弹框界面样式
- php模板修改教程,商业模板修改高级教程
- 【MyBatis错误集】--lineNumber: 132; columnNumber: 28; 元素类型 insert 必须后跟属性规范 或 /
- crc生成多项式java_CRC 生成多项式
- 为什么你要拒绝我(苹果AppStore被拒理由大全)
- 你知道GDT放电管结构及基本知识吗?