于 80 多年前提出确立的冯诺依曼架构至今还在统治现有的计算机。但是,随着机器学习等 AI 技术的发展,由于存算分离的“冯诺依曼瓶颈”的存在,这个经典计算机体系结构,已经愈发难以满足机器学习的计算需求。

近日,在接受DeepTech 采访时,第四范式硬件业务部门负责人蔡斯扬告诉 DeepTech:“从整个学界和产业界来看,目前 AI 进一步发展的公认问题、同时也是最有挑战的部分,在于计算机体系架构”。

作为 AI 发展的“三驾马车”(数据、算法、算力)之一,未来算力的进一步发展受到了 X86、冯·诺伊曼计算机体系的制约,革新计算机系统架构的时机正在成熟。“第四范式当前正在与英特尔就如何突破制约计算力发展的瓶颈展开深入探讨,双方希望通过软硬件的最优化结合,打造领先的 AI 技术架构和算力。” 蔡斯扬说。

有越来越多的学者表态称,体系结构创新将是信息科学技术领域几十年来的核心命题,甚至将带来下一个“黄金时代”。这意味着,新的算力基础设施,一定是考虑在架构级别而非晶体管级别来进一步突破摩尔定律。

图丨“天机”芯片(来源:Nature

目前,业内在探索非冯诺依曼计算架构上也已经取得了一些进展,例如发展逻辑计算与数据存储一体化的 AI 芯片、类脑芯片(如不久前清华发布于 Nature 的“天机”芯片),也有越来越多的非冯诺依曼计算机正在全球各大科技企业前沿实验室中酝酿,如光子计算机、量子计算机、神经计算机以及 DNA 计算机等。

美国国防高级研究计划署(DARPA)于 2017 年实施的“电子复兴计划”,同样在关注非冯诺依曼架构的新型处理器及其配套的软件工具的开发。在国内,国家自然科学基金设立的“企业创新发展联合基金”中,也在 2019 年将人工智能领域针对非冯诺依曼的存算一体研究方向列入其中。

在这股新浪潮之下,蔡斯扬对 DeepTech 介绍道,以第四范式为企业提供 AI 专用算力的自身实践来看,他们从 3 个方向切入,希望能够给冯·诺伊曼体系和给整个计算机算力瓶颈带来新的突破。

首先是"软件定义算力",面向 AI 的核心软件主要来自于算法,而面向算法优化的异构计算将在未来五年迎来黄金发展期。

(来源:阿里巴巴)

在异构计算中,目前 AI 芯片霸主 GPU 还只是异构计算中的一种,现在市场上已经有 NPU、ASIC、FPGA 等各种各样的计算平台被运用到AI计算中。之所以会出现这么多各种形式的 AI 芯片,正是因为算法的多元化,例如机器学习算法有 LR、GBDT,深度学习中的 CNN、DNN 等,这些算法都非常复杂,如果机器要很快地把这些算法跑起来,一定需要算法的逻辑跟芯片计算的逻辑相互匹配度高,效率好。

具体的实现上,产业链上不同厂商合作共同实现软硬件协同创新成为新范式。以英特尔和第四范式的合作为例,英特尔的产品从 SkyLake 演进到第二代至强可扩展处理器 Cascade Lake,整数运算、浮点运算均得到了 30% 左右的提升,第四范式的 Sageone 系统从 SkyLake 迁移到 Cascade Lake,却可以实现整个性能综合提升 4 - 8 倍。

4 - 8 倍提升背后,正是双方在软件加硬件的协同创新。“第四范式和英特尔成立了一个联合实验室,双方的合作便在于软件和硬件的协同优化。因为英特尔有自己的技术路线图,第四范式有自己的框架路线图,我们需要在两者之间找到一个最优化的共同技术路线”,蔡斯扬说。“与此同时,双方的合作是基于我们对软件的理解和英特尔对硬件的理解,以及对芯片的理解和体系的理解,实现对 AI 系统的软硬一体的整体优化。目前,双方通过第二代至强可扩展处理器、傲腾数据中心级持久内存,去提升 AI 的计算性能、优化仿存和内存容量等,其背后的涉及的技术工作相当复杂。”

第二个突破口在于数据。他指出,目前许多客户在进行数字化转型和AI转型中最大的瓶颈,是有了算力但是没有数据,没有数据便难以建立模型。数据在哪,如何收集,收集之后的数据如何成为机器能看懂的数据,如何存储数据以保证数据在AI训练和推理中能够被快速地使用和调用……这些都是现在数据亟需优化的方向。

其中,统一的 AI 数据治理对企业来说将非常必要,数字化转型提出的要求之一就是要将历史的批量数据和线上的流式数据进行同步。只有如此,系统才不会在建模过程中出现数据不同步导致的运行准确性问题。AI的数据治理是要把海量数据统一地汇聚进来,同时以特征和事件的方式进行归类和清洗,整个的数据弧构建和传统的BI有着本质区别,所以这也是未来一个重要的变化点之一。“这里涉及很多技术细节,所以未来AI的存储形态会发生一些变化”,他说。

第三个突破口在于网络。一般认为,网络和 AI 关系不大,但是第四范式发现,团队在开发企业级AI集成系统 SageOne 的时候,花了相当长时间在优化网络。这是因为在机器学习的过程当中,整个 I/O 的交互以及分布式机器学习跨节点的通讯压力非常大。

图丨第四范式打造的 SageOne 平台(来源:第四范式)

“从底层的算力开始,AI 的演进和发展有一个明显的轨迹,那就是伴随着数据量和计算力的爆发,AI 才在近 5 年得到了蓬勃的发展。目前来看,数据、算力,而非算法的突破,是 AI 最近 5 年在实质性商业价值有突破性进展的根本原因……事实上,尽管不少互联网、AI 公司都在用包括机器学习在内的AI算法,但这些算法大多数都不是最近5年的技术。驱动这 5 年 AI 蓬勃发展的核心原因,是数据的爆发和算力性价比的提升”,蔡斯扬说。

未来,AI 在算力基础设施建设、突破计算架构瓶颈上还有很多创新的机会,算力也将是继续支撑人工智能向前发展的重要一环。由此可以看来,走向非冯诺依曼体系架构变革,将为 AI 推动产业变革提供更为持久的驱动力。

业内公认的AI发展最大挑战,有哪些技术突破机会?相关推荐

  1. 斩获23项冠军,日均调用破万亿!百度交出年度AI成绩单:语音语言领衔技术突破,国产自研成大趋势...

    乾明 雷刚 发自 凹非寺  量子位 报道 | 公众号 QbitAI 刚刚,百度一年AI成绩单官宣. 作为中国AI头雁,百度的成绩单不止代表巨头公司业绩,也代表了技术前沿现状和产业基本情况. 而且诸多进 ...

  2. 字节跳动李航:自学机器学习,研究AI三十载,他说AI发展或进入平缓期

    作者 | 夕颜 出品 | AI科技大本营(ID:rgznai100) [导读]一阵凉风吹过人工智能,让这个曾是燥热的领域逐渐冷却下来,留下的是扎实地在做研究的人.机构.企业.先后在 NEC 公司中央研 ...

  3. 李向阳教授谈中科大AI承继与挑战,IT校友影响力惊人

    李根 发自 G195  量子位 报道 | 公众号 QbitAI 头像用了"双枪李向阳"的中科大教授李向阳,很忙. 这位IEEE Fellow.ACM杰出科学家.中国科学技术大学计算 ...

  4. VisionBank AI实现4项技术突破----传统算法融合深度学习,重新定义“工业视觉检测大脑”

    机器视觉经过长时间的发展,技术不断取得重大突破并被广泛应用,当前已遍布工业生产的各个环节.而且机器视觉易于实现自动化集成,软件集成,是实现智能制造的基础技术.据统计,中国的机器视觉市场需求近几年处于持 ...

  5. AI认知架构四十年的发展与挑战

    ‍数据智能产业创新服务媒体 --聚焦数智 · 改变商业 认知架构是通用人工智能研究的一个子集,始于 1950 年代,其最终目标是对人类思维进行建模,使我们更接近构建人类水平的人工智能.约克大学电气工程 ...

  6. 德勤《全球AI发展白皮书》出炉!八大新趋势,三个关键技术一文扫尽【附下载】...

    来源:智东西(zhidxcom) 数据猿官网 | www.datayuan.cn 今日头条丨一点资讯丨腾讯丨搜狐丨网易丨凤凰丨阿里UC大鱼丨新浪微博丨新浪看点丨百度百家丨博客中国丨趣头条丨腾讯云·云+ ...

  7. 【人工智能】中科院2019全球人工智能发展白皮书!八大关键技术中国崛起中,国产AI芯片耀眼...

    来源:产业智能官 人工智能是一个很宽泛的概念,概括而言是对人的意识和思维过程的模拟,利用机器学习和数据分析方法赋予机器类人的能力.人工智能将提升社会劳动生产率,特别是在有效降低劳动成本.优化产品和服务 ...

  8. 投影仪贵的和便宜的区别?业内公认千元投影仪性价比排行

    投影仪贵的和便宜的区别大吗?配置上来看主要是芯片.分辨率以及亮度的不同,目前投影仪市场价格战激烈,很多优秀产品的价格已经降至千元价位,因此即使预算不高也能买到不错的投影仪,比如说下面这五款就是业内公认 ...

  9. 德勤全球AI发展白皮书:八大新趋势+三个关键技术

    关注ITValue,看企业级最新鲜.最具价值报道! 图片来源@视觉中国 | 文章来源@世界人工智能大会  | 前沿导读:目前AI已在金融.医疗.安防等多个领域实现技术落地,且应用场景也愈来愈丰富,正在 ...

最新文章

  1. RNN失宠、强化学习风头正劲,ICLR 2019的八点参会总结
  2. 关于I2C协议和SPI协议学习之中的补充修改
  3. Understanding Ethereum Smart Contracts
  4. SAP CRM orgman set的更改会触发Pricing set的创建
  5. jsoncpp学习笔记
  6. IT、OT融合趋势下,西门子举办“第一届西门子工业边缘生态大会”
  7. vs点击方法跳不到对于的地方_内脏脂肪怎么测?这个方法也太方便了!| EASD 2020...
  8. sql中数据类型的转换(自己写比较累哈,偷偷懒,转下别人的)
  9. 煤矿AI智能视频分析识别系统解决方案
  10. 电子邮箱地址格式怎么写?企业电子邮箱格式教程
  11. 强化学习算法TRPO之共轭梯度优化
  12. 利用计算机指令清理垃圾,系统运维---教你用dos命令清除系统垃圾的快速方法
  13. easyui的filebox赋值回显
  14. com.netflix.discovery.DiscoveryClient : Completed shut down of DiscoveryClient
  15. 命令查看yarn当前任务列表
  16. [Matlab科学计算] 四阶Runge-Kutta法解常微分方程
  17. iOS开发笔记 -- 动态切换APP的logo
  18. 3P21J30 2023年最新版车载版下载
  19. Android 音频播放之SoundPool的使用和封装(自定义声音资源)
  20. 通过源码分析各种Map(含LinkedHashMap、IdentityHashMap、ConcurrentHashMap)

热门文章

  1. python list是一个有序列表 这个与java的list是无序的列表 具有明显不同,一定要注意
  2. 2021-03-21 jdk中体统的URL能访问的协议非常有限(当然可以进行扩展,不过很麻烦),常用的有http,file,ftp等等
  3. 单实例的写法最保险的写法应采用静态方式的预生成 ,不要用双重检查的懒汉模式等,JDK1.6之后加了volatile也要谨慎,需要考证是否解决这个问题
  4. AI的使用场景破冰开拓商业服务
  5. python __call__的作用,是可以将对象作为方法使用的关键 分析nn.Module源码
  6. 机器学习入门之机器学习sklearn中的train_test_split()函数
  7. 函数连续但没有导数的例子
  8. Eclipse 之 EasyExplore 插件
  9. 多模态任务新蓝海:视觉语言导航最新进展
  10. 图灵2010.02书讯