仅有算法远远不够：AI突破下一站，需要对硬件重新审视
如今的人工智能存在一个很重要问题：太贵了。训练现代计算机视觉模型Resnet-152的成本大约为100亿浮点运算，这比起现代语言模型相形见绌。
训练OpenAI的最新自然语言模型GPT-3预计耗费3000万亿浮点运算，其中在商用GPU上的成本至少为500万美元。与其相比，人类大脑可以识别面部、回答问题，且只需一杯咖啡就能驾驶汽车。
我们如何做到?
我们已经取得了很大的进展。
第一批电脑的产生有着特殊的目的。1822年，英国数学家查尔斯·巴贝奇(Charles Babbage)为了计算多项式函数创造了“差分机”。1958年，康奈尔大学教授弗兰克·罗森布拉特(Frank Rosenblatt)创造了“Mark I”，这是单层感知器的物理形式，用于机器视觉任务。硬件和算法在早期是同一种东西。
硬件和算法的统一随着冯诺依曼体系架构的出现发生了变化，该架构具备由计算处理单元组成的芯片设计以及储存数据和程序指令的内存单元。这种模式上的转变使得建造可以针对任何任务进行编程的通用机器成为可能。冯诺依曼体系架构已经成为现代数字计算机的蓝图。
但是这里存在矛盾。数据密集型程序需要进行大量内存单元和计算单元间的通信，这会减缓计算速度。这个“冯诺依曼瓶颈”是人工智能早期尝试失败的原因。标准的CPU在深度神经网络的核心计算操作——大型矩阵乘法中效率不高。由于现有硬件的瓶颈，早期的神经网络存在技术搁浅并且表现不佳。
有趣的是，问题的解决办法不是来自学术界，而是来自游戏行业。在1970年代，为加速视频游戏发展而开发的GPU使得数据密集型操作与数千的计算内核并行化。这种并行化是解决冯诺依曼瓶颈的有效办法。GPU使得训练更深层次的神经网络成为可能，并且成为现代人工智能技术现行使用的硬件。
硬件彩票
人工智能领域研究的成功有很大的运气成分。谷歌研究员萨拉·胡克(Sara Hooker)称之为“硬件彩票”：早期的AI研究人员非常不幸，因为他们被速度缓慢的CPU困住了腿脚。在GPU出现时碰巧从事AI领域的研究人员“赢得了”硬件彩票。他们可以通过利用GPU的高效加速功能来训练神经网络，从而取得飞速的进展。
硬件彩票所体现的问题在于，一旦这整个领域中的人都成为了赢家，就很难探索出新事物。硬件的发展速度缓慢，需要芯片制造商进行大量回报不确定的前期投资。一个保险的做法就是对矩阵乘法进行优化，这已成为现状。然而长期来说，这种关注于硬件和算法一个特定组合的做法会限制我们的选择。
让我们回到最开始的问题。为什么当今的人工智能如此昂贵?答案可能是我们还不具备合适的硬件。硬件彩票的存在加以商业激励的机制，使得我们在经济上难以摆脱目前的现状。
一个很好的例子是Geoffrey Hinton的胶囊神经网络——一种新颖的计算机视觉方法。谷歌研究人员Paul Barham和Michael Isard发现这种方法在CPU上很有成效，但是在GPU和TPU上效果不佳。
这背后的原因是什么呢?加速器的优化都针对例如标准矩阵乘法等最频繁的操作，但缺少对胶囊卷积的优化。他们得出的结论(同时也是论文的标题)是：机器学习系统陷入困境。
AI研究人员可能会“过度适应”现有的硬件，从长远来看，这将抑制该领域的创新。
前进的道路
“取得下一步的突破可能需要采用一种本质与以往不同的角度：将硬件、软件与算法结合起来对世界进行建模。”
在人脑中，记忆和计算不是两个独立的部分，相反它们发生在同一个地点：神经元中。记忆来源于神经元通过突触连接在一起的方式，而计算来源于神经元触发并传播感官输入的信息的方式。就像早期的计算机一样，硬件和算法是同一个东西。这与我们当今构建人工智能的方法不同。
由GPU和TPU驱动的深度神经网络虽然在当今的许多任务中表现出色，但不是长远办法。也许它们只是硬件与算法的组合体系结构在广阔前景之下的局部最优解。
意识到仅有算法还远远不够是前进道路的开端。下一代的人工智能需要在硬件和算法方面都进行创新。在GPU出现之前，AI研究止步不前。如果没有硬件上的突破，我们可能会再次陷入发展停滞的困境。
【编辑推荐】
- 在启动人工智能项目之前要问的4个关键问题
- 人工智能驱动内存互连进化
- 程序员能否仅靠技术来渡过中年危机
- 人工智能，你了解多少？作为平常人，有能力知道更多吗？
- 人工智能将来可以取代人类的决策吗？
仅有算法远远不够：AI突破下一站，需要对硬件重新审视相关推荐
- AI时代下，人人都在讲开源
好记忆不如烂笔头,能记下点东西,就记下点,有时间拿出来看看,也会发觉不一样的感受. AI时代下,人人都在讲开源(Open Source). 开源一词,可以说是近些年人工智能领域最热门的主题词之一.从概 ...
- AI繁荣下的隐忧——Google Tensorflow安全风险剖析
作者:[ Tencent Blade Team ] Cradmin 我们身处一个巨变的时代,各种新技术层出不穷,人工智能作为一个诞生于上世纪50年代的概念,近两年出现井喷式发展,得到各行各业的追捧,这 ...
- AI变革下的“百度一下”
允中 李根 发自 凹非寺 量子位 出品 | 公众号 QbitAI 百度世界大会,百度一年一度的技术和产品展示. 在今年的百度大会上,Apollo.DuerOS.信息流&手百等都产品均发布了自己 ...
- 腾讯赵建春：AI浪潮下的高效运维思考及实践
GOPS 全球运维大会暨首届金牌运维峰会于11月17日-18日在上海圆满举行.腾讯 SNG 助理总经理.GOPS 金牌讲师赵建春老师受邀出席大会,并带来精彩演讲<AI 浪潮下的高效运维思考与实践 ...
- 阿里云总裁胡晓明：人工智能要去泡沫化，下一站将是“产业AI”
关注ITValue,查看企业级市场最新鲜.最具价值的报道! 如今无论中美,全球许多国家都对AI充满了憧憬与渴望.人们坚信,一个新的世界即将到来.人工智能是当前人类所面对的最为重要的技术社会变革,可谓 ...
- 阿里云总裁胡晓明：AI泡沫过后，下一站是“产业AI”
原文链接:点击打开链接 摘要: 12月20日,在云栖大会·北京峰会上,阿里云总裁胡晓明阐述了阿里巴巴在人工智能方面的布局,并提出 "AI for Industries"(产业AI) ...
- 微软亚洲互联网工程院招聘NLP算法工程师、AI应用科学家
微软 微软 STCA · 自然语言处理组,致力于自然语言处理(NLP)核心技术的深入研究.成果在全球产品中的落地应用,由北京.苏州两地的 200 多位热爱技术.勤于实践.勇于梦想的科学家和工程师构成. ...
- 向量时钟同步算法_如何让超级下载算法在不同CortexM内核下也能跑？
大家好,我是痞子衡,是正经搞技术的痞子.今天痞子衡给大家介绍的是超级下载算法开发笔记(1)之执行在不同CM内核下. 文接上篇 <RT-UFL - 一个适用全平台i.MXRT的超级下载算法设计&g ...
- AI突破难题才能预见未来
https://www.toutiao.com/a6639291504139452932/ 2018-12-26 21:21:54 目前,人工智能AI算是一个最为热门的领域,AI被赋予强大的未来想象力 ...
最新文章
- vue - 使用axios
- babylonjs 分部加载模型_如何使用BabylonJS加载OBJ或STL模型
- 二阶振荡环节的谐振频率_【干货分享】晶体谐振器振荡频差的原因及对策
- 每次跳槽，总得面对这摊事
- 等比数列三角形 （数论 + 黄金分割点）+ JOISC 2016 Day3 T3 「电报」（基环树 + 拓扑排序）
- “老师，请您多关注一下我吧！！！”
- c++byte数组和文件的相互转换_终于！word、excel、ppt文件相互转换技巧来了！
- java积分签到功能_对于签到功能的一点理解
- 计算机辅助三维参数化设计是什么,滚子链轮的计算机辅助三维参数化设计.pdf...
- 修改hosts文件，解决端口占用方法
- ResNet(残差网络)之残差模块
- Spring Boot 2020 官方基础68课程第十七个 Hypermedia-Driven RESTful Web Service 超媒体
- C语言实现lagrange theorem拉格朗日定理的算法(附完整源码)
- 深入浅出移动直播技术之帧率、码率和分辨率
- 虚拟相机IOS手机端安装教程
- 面试通知短信模板大全
- SpringBoot 2-连接数据库、配置logback打印sql日志等
- chatgpt 的强大让你慌了么？趁着还有点理智，跟着我看看怎么玩吧！
- 自由浏览器 android,百度浏览器发布安卓6.1版 趣味视频弹幕吐槽不停
- 2022T电梯修理考试题库及模拟考试