AI计算量每年增长10倍，摩尔定律也顶不住 | OpenAI最新报告
2019-11-08 12:32:54
晓查 发自 凹非寺
量子位 编译 | 公众号 QbitAI
今天OpenAI更新了AI计算量报告，分析了自2012年以来AI算法消耗算力的情况。
根据对实际数据的拟合，OpenAI得出结论：AI计算量每年增长10倍。从AlexNet到AlphaGo Zero，最先进AI模型对计算量的需求已经增长了30万倍。
英伟达的黄仁勋一直在强调摩尔定律已死，就是没死也顶不住如此爆炸式的算力需求啊。
至于为何发布AI计算量报告？OpenAI说，是为了用计算量这种可以简单量化的指标来衡量AI的发展进程，另外两个因素算法创新和数据难以估计。
每年增长10倍
OpenAI根据这些年的实际数据进行拟合，发现最先进AI模型的计算量每3.4个月翻一番，也就是每年增长10倍，比摩尔定律2年增长一倍快得多。
上图中的纵坐标单位是PetaFLOPS×天（以下简写为pfs-day），一个pfs-day是以每秒执行1015次浮点运算的速度计算一天，或者说总共执行大约1020次浮点运算。
需要注意的是，上图使用的是对数坐标，因此AlphaGoZero比AlexNet的运算量多了5个数量级。
从2012年至今，按照摩尔定律，芯片算力只增长了7倍，而在这7年间AI对算力的需求增长了30万倍。硬件厂商是否感觉压力山大？
OpenAI还分析了更早期的数据，从第一个神经网络感知器（perceptron）诞生到2012年AI技术爆发前夕的状况。
在之前的几十年中，AI计算量的增长速度基本和摩尔定律是同步的，2012年成为AI两个时期的分水岭。
（注：OpenAI原报告引用18个月作为摩尔定律的翻倍时间，之后修正为2年。）
AI硬件的4个时代
对算力的爆炸式需求也催生了专门用于AI运算的硬件，从1959年至今，AI硬件经历了4个不同的时期。
- 2012年之前：使用GPU进行机器学习运算并不常见，因此这部分的数据比较难准确估计。
- 2012年至2014年：在多个GPU上进行训练的设备并不常见，大多数使用算力为1~2 TFLOPS的1到8个GPU，计算量为0.001~0.1 pfs-day。
- 2014年至2016年：开始大规模使用10~100个GPU（每个5~10 TFLOPS）进行训练，总计算量为0.1-10 pfs-day。数据并行的边际效益递减，让更大的训练量受到限制。
- 2016年至2017年：更大的算法并行性（更大的batch size、架构搜索和专家迭代）以及专用硬件（TPU和更快的连接），极大地放宽了并行计算的限制。
未来还会高速增长吗？
OpenAI认为，我们有很多理由相信，AI计算量快速增长的需求还会继续保持下去。但是我们不必太过担心算力不够。
首先，越来越多的公司开发AI专用芯片，这些芯片会在一两年内大幅提高单位功率或单位价格的算力（FLOPS/W或FLOPS/$）。另一方面并行计算也会成为主流，没有太强的芯片还可以堆数量。
其次，并行计算也是解决大规模运算的一个有效方法，未来也会有并行算法创新，比如体系结构搜索和大规模并行SGD等。
但是，物理规律限制芯片效率，成本将限制并行计算。
如今训练一个最大模型需要的硬件购置成本高达几百万美元，不是每个企业都可以像英伟达那样，用512个V100花费10天训练一个模型的。
报告地址：
https://openai.com/blog/ai-and-compute/
— 完 —
AI计算量每年增长10倍，摩尔定律也顶不住 | OpenAI最新报告相关推荐
- 华为孟晚舟：预计2030年人工智能算力将增长10倍|北京青年报
2023华为全球分析师大会上,华为副董事长.轮值董事长CFO孟晚舟发言指出,预计到2026年,全球数字化转型的支出将高达3.4万亿美元.孟晚舟还表示,随着数字化的深入,预计到 2030年全球通用计算能 ...
- 京东业务增长10倍背后的敏捷开发秘籍【案例+分析】
需求又要改? 项目上线时间又提前了? 老板还嫌增长不够? 团队都开始灰心丧气了? 来看看京东内部是如何解决这些让人焦头烂额的棘手问题. 1 两次失败之后成功支持双11活动 京东每年两次大的的促销活动中 ...
- 面试官：面对业务量增长10倍、100倍怎么处理？ 当场哭出声。。
面对业务量增长10倍.100倍怎么处理?你们系统是怎么支撑高并发的?怎么设计一个高并发系统?高并发系统都有什么特点... ... 问法很多,好像无处下手,但是总结一个常规的思路就是围绕支撑高并发的业务 ...
- 聚焦BCS|新华财经：奇安信董事长齐向东：网络安全市场规模10年将增长10倍
以下为报道全文: 8月13日,作为北京网络安全大会(BCS2020)的核心议程,由中国计算机学会主办."网安一哥"奇安信集团承办的第四届网络安全产业担当与发展论坛如期召开. 奇安信 ...
- 2023年市场增长10倍，云安全成香饽饽了?
网络安全,即便是何时提起,其重要性也不能小觑.在波诡云谲的2022,在各行各业掀起上云狂潮后,云安全的概念随之爆发,而在这场竞争中,全球的公司也将注意力投射在头顶上的那朵云彩之上.据Gartner的估 ...
- 让金融互联网-P2P网贷融资量增长10倍的广告宣传公益活动
活动名称:让金融互联网-P2P网贷融资量增长10倍的广告宣传公益活动 活动意义:让投资人赚更多的钱,共同把金融互联网-P2P网贷市场做大,共同吃蛋糕! 活动内容:教线上P2P网贷平台要做的事(把那些会 ...
- Achronix推出FPGA系列产品Speedster7t：瞄准AI/ML需求 算力提升10倍
[TechWeb]5月22日,芯片性能提升的一小步往往能带来产业发展的一大步.在人工智能/机器学习(AI/ML)和高带宽数据加速应用需求日益增长的今天,Achronix半导体公司推出FPGA系列产品S ...
- 网易严选案例|下单峰值增长10倍,毫秒级处理,轻舟助力练就电商必杀技
企业数字化案例 第一期 以技术创新之力,推动各行企业转型 一起聊聊行业标杆们数字化背后的那些事儿 最近,网易严选一系列动作给人留下深刻印象.4周年庆刚刚结束,期间狂派4亿消费券,一口气上线600多款品 ...
- 英特尔AI医疗实战曝光：10倍加速辅助诊断、准确度高达90%
2019-11-25 15:01:23 机器之心原创 作者:力琴 深耕医疗健康领域 20 年,医疗健康数字化.药物治疗精确化一直是英特尔的重要议题. 每年都有 1800 万人因心血管疾病失去生命,易患 ...
最新文章
- 实现序列化与反序列化，一定要绕开这些坑！
- CodeForces 444C 节点更新求变化值的和
- 《趣学算法 [陈小玉]》学习笔记01
- 数据科学 IPython 笔记本 8.7 密度和等高线图
- Java 时间处理 PeriodDuration
- 第七章节 类的抽象（接口）
- scrum 12.8
- 文献参考文献著录规则
- PDFJS集成批注功能
- matlab sil验证,科学网—径流模拟结果校准和验证图(matlab) - 张凌的博文
- 用计算机探索规律反思,规律的背后——用计算器探索规律教学反思
- 一次 TLS SNI 问题
- 计算机高手应该具备的知识,大学计算机基础超详细知识点(高手总结)，强列推荐...
- jBox----弹出层插件
- Masking操作，即只关注图像的一部分
- hdu1172猜数字
- java架构师主要负责什么_Java架构师主要学什么 Java架构师工资多少
- 云南财经大学龙泉校区 计算机学院,云南财经大学有几个校区
- 计算机网络之计算机网络概述
- 猫和老鼠汤姆看java_猫和老鼠：盘点汤姆5种超越认知的形态，最后一种“痛不欲生”！...