谷歌大脑发布神经架构搜索新方法:提速1000倍
岳排槐 发自 LZYY
量子位 出品 | 公众号 QbitAI
去年,谷歌大脑团队发布神经网络自动架构搜索(NAS)。这个方法理论上能够更好地、自动化地设计神经网络的架构。
尽管NAS表现出色,但却要耗费大量的计算资源。运行一次,可能需要450块GPU跑上3-4天,大约耗用32400-43200个GPU小时。
一旦投入不够,就得不到理想的结果。
显然大牛们不会坐视不理。一年后,谷歌大脑团队发布了他们最新的研究成果:ENAS,全称是:Efficient Neural Architecture Search。
谷歌大脑的团队成员发现,NAS的计算瓶颈在于训练子模型收敛时,只衡量准确率而丢掉了所有训练成的权重。
最新的研究,就是强制所有子模型共享权重,来提高NAS的效率。这个方法的复杂性在于,每个子模型的权重使用并不相同。
最终,谷歌大脑团队还是成功了。使用新方法后,仅用一块英伟达GTX 1080Ti显卡,就能在16个小时之内完成架构搜索。
与NAS相比,GPU时间耗用减少了1000倍以上。
这篇论文刚刚提交到arXiv上发表。作者包括:Hieu Pham、Melody Y. Guan、Barret Zoph、Quoc V. Le、Jeff Dean。
如果你对论文细节感兴趣,传送门在此:
https://arxiv.org/abs/1802.03268
另外,在ICLR 2018大会接收的论文中,也有一些算是类似方向的研究。如果你同样感兴趣,请收下这个来自谷歌大脑团队成员@hardmaru分享的传送门:
https://openreview.net/forum?id=rydeCEhs-
https://openreview.net/forum?id=BJQRKzbA-
作者系网易新闻·网易号“各有态度”签约作者
— 完 —
加入社群
量子位AI社群13群开始招募啦,欢迎对AI感兴趣的同学,加小助手微信qbitbot5入群;
此外,量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募,面向正在从事相关领域的工程师及研究人员。
进群请加小助手微信号qbitbot5,并务必备注相应群的关键词~通过审核后我们将邀请进群。(专业群审核较严,敬请谅解)
诚挚招聘
量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
谷歌大脑发布神经架构搜索新方法:提速1000倍相关推荐
- 旷视孙剑团队提出AutoML神经架构搜索新方法:单路径One-Shot,更精确更省时
本文转载自旷视研究院 一步法(One-Shot)是一个强大的神经网络模型搜索(Neural Architecture Search/NAS)框架,但是它的训练相对复杂,并且很难在大型数据集(比如 Im ...
- 纵览神经架构搜索方法
从谷歌渐进式的架构搜索到 CMU 的可微架构搜索,利用神经网络自动搭建不同的神经网络架构已经受到广泛的关注.最近弗莱堡大学的研究者发表了一篇论文纵览不同的神经架构搜索方法,他们从神经网络的搜索空间.搜 ...
- 值得收藏!动图演示神经架构搜索
点击我爱计算机视觉标星,更快获取CVML新技术 本文为 AI 研习社编译的技术博客,原标题 : Illustrated: Efficient Neural Architecture Search 作者 ...
- MnasNet:移动端模型的自动化神经架构搜索方法
基于AutoML方法,结合强化学习设计一种资源约束的移动端 CNN 模型MnasNet.该系统主要包括三个部分:(1)循环神经网络驱动的控制器,用于学习和采样模型的架构:(2)训练器,用于构建和训 ...
- 入门必备 | 一文读懂神经架构搜索
作者 | Md Ashiqur Rahman 编译 | 刘静 转载自图灵TOPIA(ID: turingtopia) 近期谷歌大脑团队发布了一项新研究:只靠神经网络架构搜索出的网络,不训练,不调参,就 ...
- 神经架构搜索在视频理解中研究进展的综述
作者 | Michael S. Ryoo 研究员与 AJ Piergiovanni 学生研究员(Google 机器人团队) 来源 | TensorFlow(ID:TensorFlow_official ...
- Google CVPR 2019最新成果!用神经架构搜索实现更好的目标检测
图灵TOPIA 作者:Golnaz Ghaisi等 编译:刘静 图灵联邦编辑部出品 4月16日,arXiv公布了一篇谷歌大脑的最新成果论文,已被CVPR 2019接收. 研究人员采用神经网络架构搜索, ...
- 经典再读 | NASNet:神经架构搜索网络在图像分类中的表现
(图片付费下载于视觉中国) 作者 | Sik-Ho Tsang 译者 | Rachel 编辑 | Jane 出品 | AI科技大本营(ID:rgznai100) [导读]从 AutoML 到 NAS, ...
- 从800个GPU训练几十天到单个GPU几小时,看神经架构搜索如何进化
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 本文转载自:机器之心 作者:Erik Lybecker | 参 ...
最新文章
- Javascript教程:AngularJS的五个超酷特性
- 项目分析(map复习)
- 网上农大计算机应用基础在线作业1答案,东北农业大学网络教育学院计算机应用基础网上作业题及答案.doc...
- ADF任务流:页面片段的托管bean范围
- ASP.NET 使用Ajax
- Python协程原理介绍及基本使用
- 进阶01Object类
- firefox浏览器全键盘操作
- 使用timerfd实现定时器功能
- layui 弹窗自适应高度_layui弹框自适应高度
- Windows Server 2016 AD父子域环境搭建手册
- 版本控制/文件管理系统SVN命令整理:提交修改更新撤销分支
- JavaEE - 数组
- 【黄啊码】fastadmin接入微信支付和支付宝支付
- Base64的编码(Encode)与解码(Decode)
- C++ TR1 正则表达式
- git重置commit时的注释
- 沟通的艺术:看人入里,看出人外 - part 5
- 大数据入门学习:SQL与NOSQL数据库
- TFS文件编码检查机制和修改(Team Foundation Server 2013)
热门文章
- 征服Java面试官!mysql索引树结构
- mysql客户端攻击_HackerNews
- cad填充图案乱理石_CAD图案填充应该这么操作!简单又高效!!!1分钟就能学会...
- scala 判断字段 是不是 日期类型_举个栗子!Tableau 技巧(147):使用 动态参数 筛选到最新日期值...
- oracle启用amm,oracle AMM、ASMM区别以及相关用法
- ios 倒数器_如何使用倒数计时器来停止游戏 – iOS [SWIFT] –
- ibm服务器做系统视频,智慧运算 IBM x3650 M4服务器拆机(视频)
- asp连接mysql数据库增删查_【ASP】ASP对Access数据库的连接、增删改查及ASP的基本语法...
- c++连接云服务器_如何简单搭建Minecraft服务器
- dlib疲劳检测_使用OpenCv和Dlib进行打哈欠检测