Google传奇Jeff Dean最新演讲:如何构建未来的机器学习芯片
如何构建未来的机器学习加速芯片?
Google大脑负责人Jeff Dean是最有资格回答这个问题的人之一。昨天,还是在NIPS大会期间,Jeff Dean详细介绍了Google在AI芯片方面的最新研究。
以下是Jeff Dean最新演讲的主要内容。
众所周知,深度学习需要大量的计算资源支持,深度学习正在改变我们设计电脑的方式。例如,降低计算精度也是OK的。
Google在新机器学习方面的成果之一,就是TPU。这个专用的AI加速芯片,主要用来执行神经网络的推理计算。Google的搜索、神经机器翻译、语音图像识别,以及大名鼎鼎的AlphaGo背后,都是TPU在提供计算支持。
第一代TPU在推理方面取得了巨大的进步,但是训练怎么办?
于是Google又研发了第二代TPU。第二代TPU被设计用来同时执行训练和推理计算。第二代TPU的架构如下图所示:
Google还用64块TPU组成阵列(TPU Pod),这进一步提升了计算效力。具体有多厉害?例如,训练Resnet-50达到75%以上精确度,单个第二代TPU要耗时一整天,而阵列只需要22分钟,速度提升31倍,不需要任何额外代码优化。
成绩属于过去,未来挑战依然严峻。2009年以来,arXiv上机器学习论文的增长速度,已经超过摩尔定律。
所以,接下来要思考的问题还是:应该如何构建未来的机器学习加速器?如果现在开始着手,如何设计一个两年内能投入使用,五年内不会过时的AI芯片?
需要考虑的问题包括精度、稀疏和嵌入、Batch大小、训练算法等等。但首先是整个系统都应该有所改变。传统的low-level系统代码(操作系统、编译器、存储系统)还没有广泛利用当今的机器学习。
对于更高性能的机器学习模型来说,并行性非常重要。但是在多个计算设备上获得良好的性能,是并不是一件易事。
为什么这样?
因为Learned Index结构,不是传统的索引结构。这部分实际上是Google最新的研究成果。
在这个研究中,Google从假设现在所有的索引结构都可以用其他类型的模型来代替,包括深度学习模型,这被称为Learned Index。核心思想是,一个模型可以学习查询的排序顺序或者结构,并且利用这个信号来有效预测记录的位置。
Google还从理论上分析了Learned Index在哪些条件下,表现优于传统的指标结构,描述了Learned Index结构设计中的主要挑战。
初步的结果显示,在神经网络环境中,这能让经过缓存优化的B-Tree提速70%,同时节省了一个数量级的内存占用。
另外,GPU/TPU让Learned Index更加可行。当然,GPU/TPU还面临高调用延迟等挑战,但是使用批量请求等技术,可以分摊调用成本。
重要的是,Google认为通过学习模型取代数据管理系统核心组件的想法,对未来的系统设计有着深远的影响。
如果对这部分研究的细节感兴趣,可以查看Google的论文The Case for Learned Index Structures,地址在此:https://arxiv.org/abs/1712.01208 。
在量子位微信公众号(QbitAI)对话界面,回复关键词“jeff”,就能下载此次Jeff Dean演讲PPT的全文。
One more thing…
Jeff Dean终于在推特上开了账号~
— 完 —
Google传奇Jeff Dean最新演讲:如何构建未来的机器学习芯片相关推荐
- TF下载量已超4600万!首届TensorFlow World大会,谷歌大牛Jeff Dean激情演讲
点击我爱计算机视觉标星,更快获取CVML新技术 新智元报道 编辑:新智元编辑部 [新智元导读]TensorFlow 2.0正式版发布不久,全球开发者和开源用户迎来了首届TensorFlow W ...
- 关于Google神牛Jeff Dean的笑话,非程序员勿入(转)
关于Jeff Dean: http://research.google.com/people/jeff/,简单来说,这货是Google牛逼的源泉之一.因为此人实在太牛了,于是出现了关于他有多牛的几个笑 ...
- Jeff Dean长文展望:2021年后,机器学习领域的五大潜力趋势!
干货 编辑:杜伟.蛋酱,来源:机器之心 2021 年之后,机器学习将会对哪些领域产生前所未有的影响? 在过去的数年,见证了机器学习(ML)和计算机科学领域的许多变化.按照这种长弧形的进步模式,人们或许 ...
- 吴恩达、Jeff Dean、Bengio对话:如何用机器学习应对气候变化 | NeurIPS 2019
十三 发自 凹非寺 量子位 编译 | 公众号 QbitAI 机器学习该如何加入应对气候变化这场硬仗? 在今年的NeurIPS会议上,机器学习大神们聚集在一起,讨论了人工智能如何应对气候变化对地球生命 ...
- 凯文·凯最新演讲:预测未来非常困难 但未来技术可以预测
12月9日,在由封面新闻主办的"遇见未来,与凯文·凯利巅峰对话"活动现场,"世界互联网之父"."科技商业预言家".<连线>(Wi ...
- 孙正义最新演讲:对于未来30年的趋势,现在正是关键时刻
朋友们,我是床长! 如需转载请标明出处:http://blog.csdn.net/jiangjunshow 8月8日,华为发布了面向2025十大趋势,预测到2025年,全球58%的人口将能享有5G网络 ...
- 谷歌大脑2017总结(Jeff Dean执笔,干货满满,值得收藏)
李杉 维金 编译自 Google Blog 量子位 出品 | 公众号 QbitAI 谷歌AI Senior Fellow.谷歌大脑负责人Jeff Dean,按照惯例,今天开始发布2017年度的谷歌大脑 ...
- 看了 Google 大神 Jeff Dean 的传说,我拜服了~
来源:www.zhihu.com/question/22081653/answer/20593104 Jeff Dean:(也称Jeffrey Adgate Dean)是一名美国计算机科学家和软件工程 ...
- 每日新闻 | Google AI 负责人Jeff Dean:机器学习让计算机更智能
点击蓝字关注我们更多精彩,请点击上方蓝字关注我们! 每日新闻播报 第07-10期 1 趋势洞察 Google AI 负责人Jeff Dean:机器学习让计算机更智能 7月10日下午消息,今日在&quo ...
最新文章
- 《高性能网站建设指南》笔记-2 规则1——减少HTTP请求
- CVE-2015-1635(MS15-034)-HTTP.sys远程代码执行复现
- 1年排名前进13位 ,这个论题成顶会新宠!
- 现代软件工程系列 学生读后感 梦断代码 DTSlob (2)
- java 月份_java+javascript获得两个日期之间的所有月份
- 永恒python配合什么主武器_让Python代码更易维护的七种武器
- Node.js nrm
- 50道经典MySQL练习题(含解答)
- JAVA-工作流-Activiti7入门demo
- Python 爬虫 scrapy 反 反爬虫策略
- Sentaurus Process Refinement Boxes
- svn忽略class文件夹上传的方法
- Microsoft.VisualBasic.dll的妙用(开发中肯定会用到哦)
- Zotero+zotfile+坚果云+PDF Expert超好用的多设备协同文献管理组合(保姆级别)
- C语言 猴子吃桃的问题 猴子第一天摘下若干个桃子,当即吃了一半,又多吃了一个。 第二天早上将剩下的桃子吃一半,又多吃一个。以后每天早上都吃了前一天剩下的一半零一个。 到第N天早上想再吃时只剩下一个桃子
- Unity 学习 Tilemap
- 基尔霍夫定理与电位计算
- 小程序组件库ColorUI的使用,一键复制粘贴
- Maven压缩资源导致文件损坏的解决
- cef ocx 支持_Cef3/Chromium的编译和音视频支持的修改
热门文章
- Windows安装及使用sqlmap
- JS call()和apply()方法和区别
- distribution was not found and is required by the application错误
- H3C DHCP服务器显示及维护
- 第一次作业源于计科一班的王相博
- [转载]Windowsnbsp;Servernbsp;2008nbsp;R2nbsp;之二十五ADnbsp;RMS信任策略
- KindEditor 4.1.10 (2013-11-23)首行空格不能显示在编辑器内
- 怎么用命令开远程主机的telnet服务 2
- swing组建的层次
- 近日的思绪(外三首)