从大神Alex Smola与李沐离职AWS创业融资顺利，回看ChatGPT大模型时代“底层武器”演进
“We're building something big ... stay tuned. Talk to me if you want to work on scalable foundation models.”
“我们正在建造一个大项目……请继续关注。如果你想在可扩展基础模型上工作，请告诉我。”
“参数服务器之父” Alex Smol教授已于2023年2月从美国著名公有云厂商亚马逊云科技（AWS）离职，创办了一家名为Boson.ai的人工智能公司。
公元2023年的春天，显然也是人工智能的又一春。
Alex Smol教授重新出发并在领英公布了新目标：
“scalable foundation models”（可扩展基础模型）。
这类厂商可被视为ChatGPT跟随者，说是挑战者也行。
不久之前，或者说一周前，他的就职宣言是：“我很高兴地告诉大家，我将在 Boson.ai 开始担任首席执行官兼联合创始人的新职务！”
官宣语不惊人，实则不然，大神李沐也会加入，一同创业。
李沐既没有官宣离旧职，也没有官宣入新职。
业内人士对我说的原话是：“一起创业。”
更进一步的消息是：“融资也很顺利。”
两位神级AI科学家同期离职，共同创业。
有什么事情能感召AI大佬离开顶级大厂创业，那非ChatGPT这样的大模型机会莫属。
AI从不缺惊喜，一路走来都是惊喜，缺的是惊艳。AI已经好久没有新的神秘力量了，AI的尊严都被ChatGPT一把给找回来了。
多年观察，这两位大神师生的故事让我既感慨，又羡慕。
他们大约相识于2012年前后，计划读博的学生几乎都会提前和导师有所沟通。第一次的接触无处可考，可以确定的是2012年8月左右，李沐收到了美国卡内基梅隆大学（CMU）的入学通知。
人人都有万里路，只看你与谁同行。
此后的岁月里，大厂组队，一起写书，一起创业。
那本《动手学深度学习》被业内视为入门深度学习的优秀教材（虽然作者不止他俩）。
2021年2月，我曾在《搞深度学习框架的那帮人，不是疯子，就是骗子》一文中写过他们的部分经历：
“谈起亚马逊和MXNet框架的缘分，就不得不提起一位美国卡内基梅隆大学（CMU）的高人，Alex Smola教授，他也是李沐在CMU的博士导师。2016年7月，Alex Smola教授重返工业界，加入亚马逊AWS担任副总裁级别的科学家（职级为Distinguished Scientist/VP）。大半年后，2017年3月，李沐加入AWS，直接向老师Alex Smola汇报。 师徒同框，双手比V。”
此后，李沐大神洪水般的流量从知乎冲到B站，技术从业者追捧指数业界首屈一指。
“车库教学”“论文精讲”“师从李沐”……说实话，别说初学者、资深工程师、硕博牛人在看，连谭老师我也一连看了好几集，不仅弹幕欢乐，而且回味无穷。
7年光阴转眼间。
虽然Alex Smola是美国名校教授，前AWS高管，但是很多人对他还比较陌生。“参数服务器之父”的名头也不甚响亮。
参数服务器已经是“上古神器”，很早以前没有别的方法，只有它这一种。当年深入观察之后，至今令我印象深刻的，是其思路的巧妙。
这里一定要讲讲参数服务器的前世今生，以及一些AI训练方法上的演进。
一切糟心事的根源都在于模型在变大。
往哪里存，往哪里放，是其中的关键。
除了参数，还有样本抽取的输入，中间结果等等。这些东西，哪样搞坏搞错了，结果都承受不起。
模型小、单机单卡的情况下，信息都在一台机器上，一人闯天下。
要团队，就要分工。分布式训练中，信息要被多人分享。分享效率低，工作就会排队，排队就会浪费时间。
3个人分工，和300人分工，3000人分工，事情不是一个性质。
算力已经很厉害了，于是，AI计算呼唤高性能高带宽的存储和网络。
此时，Alex Smola教授的参数服务器就大有用处。如果你要问其本质是什么，我的答案是：分布式存储和分布式计算。
两者的占比关系是，分布式存储占大头，分布式计算占少量。
参数服务器是一个冲锋队，有领队（server），有分工队员（worker）。专业一点的说法是，分布式训练集群中的节点被分为两类：parameter server和worker。
说worker是分工队员似乎也不是很准确，因为worker这个程序，不是参数服务器的一部分，大家一起协同而已。
总之，server和worker一起干活，server存放模型参数，汇总完了再更新给worker。worker认真干活，server不停地给worker同步“消息”。
这样看上去server像职场里消息灵通的保管员。
除了存储，那一小部分计算是什么？是参数汇总和参数更新的策略等等。
简单原理如上。
一个底层软件层面的巧妙设计，让模型的扩展性战斗指数狂飙起来了。
假如没有参数服务器呢？那么，模型大的压力，就只剩硬件解决方案在硬抗。
比如，工程师做个两级或者三级存储，一部分放显存，一部分放内存，一部分放硬盘。
如此这般，还只是考虑了存储，把计算结果同步的事情搁置在一旁。
于是，我们会说参数服务器对深度学习模型训练的性能和效果的影响都很大。
AI时代，任何影响性能和效果的事情，都是天大的事情。模型靠这个吃饭，干砸了碗就砸了。
AI领域有难题，永远不缺乏解决问题的人。
这时候，超级计算机里的一个技术被拿来解决AI的问题。这个技术就是已经用在并行计算架构里的通信机制。
标志性的里程碑是Ring All reduce，出自2016年百度公司的一篇论文，技术是从“隔壁”借鉴而来的。这事从论文标题一眼就能看出来——《将高性能计算技术引入深度学习》。All Reduce翻译为规约，Ring是环状的意思。
原理就不讲了，Ring All reduce“表现”优秀，使用者越来越多。
或者我们调侃一句：“人工智能的臭毛病，让高性能计算治好了。”
再后来，谷歌和IBM等大公司又不断地拿出新思路。
很难知道OpenAI公司支撑ChatGPT大模型的类似技术是什么思路。
但我们知道，难题在产生，也在被攻克。
比如，大模型分布式存储需要支持1T到10T级别的存储量。
前面也提过，计算（训练）过程里，模型大，中间量（中间变量，优化器状态，参数更新频次和频次表，还有其他变量等等）的体量可能会膨胀4倍。
原来一室一厅够住了，现在高低得整个四室一厅。
这里只谈了一部分工作，协同训练是很有挑战的技术难题。
世事不难，吾辈何用。
在分布式上怎么把算力调动起来这件事远没有止境，并且正在持续吸引更多才俊加入到这个领域里来。
谈了很多都是陈年旧事，而人工智能方法上的提高从来没有停止，我只考古了其中几步。
重要之处在于，正是有了底层软件支持，才有了上层大模型的繁荣与爆发。
Alex Smola教授和李沐是这个领域里的大神，他们的实力和眼光都是世界一流的。
ChatGPT火了，在AI应用层急切呼唤惊艳产品的当下，硅谷著名风投A16Z说“基础设施提供商是这个市场中的最大赢家”。
我认为把AI平台、AI框架和AI芯片一起打包定义为“AI基础设施”较为合适。
AI芯片的赢面所有人都已看见，我认为在可预见的将来，Alex Smola教授在本文开头谈到的 “scalable foundation models” ，也就是基础大模型，会成为AI基础设施的一部分。
美国公司OpenAI的基础模型已经足够强大，对它进行改造和再加工的成本很低（相对于从头开发）。
如此一来，云计算厂商即将决胜的战场就是基础大模型能力，有则PaaS层胜出，无则惨败。
在“大模型一出，谁与争锋”的宏大背景音乐里，独立软件公司只要做得足够好，机会就在招手。我想Alex Smola教授和李沐大神选择加入这场战役的原因在于此。
他日“得AI框架者得天下”，
今朝“得基础大模型者得天下”。
大神们独立门户，有决心，有梦想，有市场机会，有资本支持，有对技术的热忱与投入，时不我待。
回忆几年前，好几家云计算厂商对大模型的投入，都想瞅着他人情况行事，没有投入的决心。甚至有的厂商，哪个技术中干开会提要做大模型，老板就当场痛骂谁。
这样也没错，谁不是扛着业绩边擦泪边奔跑。
只是跟随者这把椅子有时候坐着舒服，有时候不舒服。
此地彼方，唏嘘不已。
（完）
从大神Alex Smola与李沐离职AWS创业融资顺利，回看ChatGPT大模型时代“底层武器”演进相关推荐
- AI大神李沐开源新手剪辑神器！只看字幕就能剪视频，卡壳重复片段一键删除...
羿阁 发自 凹非寺 量子位 | 公众号 QbitAI 自称"业余up主"的AI大神李沐,刚刚搞了个造福剪辑圈的神器. 如果你还在犯愁每次剪视频都要反复听才能下手,不妨试试它: 连p ...
- 李沐论文精读系列五：DALL·E2（生成模型串讲，从GANs、VE/VAE/VQ-VAE/DALL·E到扩散模型DDPM/ADM）
文章目录 一. 前言 1.1 DALL·E简介 1.2 DALL·E2简介 1.3 文生图模型进展 二. 引言 2.1 摘要 2.2 引言&模型结构 三. 算法铺垫 3.1 GANs 3.2 ...
- 计算机系大神和数学系系花,小甜文：《一贱钟情，大神求放过》1v1双C，男主小奶狗，全程高甜...
最近很多书迷都反应不知道看什么书好,不知不觉的就陷入了书荒的境地,作为老书迷的小编对此也感同身受.今天小编继续给书迷们介绍好看的小说,分分钟让书迷朋友们看上瘾不睡觉!看好的话记得收藏,不怕以后再书荒了 ...
- 天线工程手册_“大神”给工控工程师快速成长的6点建议，看完你会少走弯路...
此前,我们发布了两篇关于技术工程师职场相关的文章[搞自动化也需要全栈工程师么?][工程师如何远离"技术性失业"?我的建议是--]均深受大家的关注,前后台也收到了许多的留言,比如: ...
- 长得类似铁甲小宝的机器人_这部特摄剧除了大神以外，女配角也非常养眼，童年只看机器人系列...
提及到"特摄剧"不少漫迷都会联想到<假面骑士><奥特曼>等等特摄剧,这两部特摄剧堪称是日本的两大巨头.<假面骑士><奥特曼>这两部作 ...
- python大神作品_掌握了这24个顶级Python库，你就是大神！
全文共11815字,预计学习时长24分钟 Python有以下三个特点: · 易用性和灵活性 · 全行业高接受度:Python无疑是业界最流行的数据科学语言 · 用于数据科学的Python库的数量优势 ...
- 国外大神一张图学会python-学习Python不得不关注和学习的国外大神博客
注意 : 本文收集于网路 . 由于常常更新 , 有些链接打不开, 请自备梯子 在学习Python过程中,总会遇到各种各样的坑, 虽然Python是一门优美而简单易学的语言 . 但当学习后 , 总想着更 ...
- 大神们都是如何在时间序列中进行特征提取的？看完就懂了！
作者 |Sharmistha Chatterjee 翻译 | 火火酱~,责编 | 晋兆雨 出品 | CSDN云计算 头图 | 付费下载于视觉中国 介绍 现在,对于各类机构而言,需要收集的数据越来越多, ...
- ChatGPT大模型用于刑侦破案只能是虚构故事吗？AI大模型企业服务趋势探讨（一）...
故事开始了. 一阵疼痛痉挛,脚下地面渐渐返潮,他知道又要下雨了. 刑警老周摸索着爬到台阶的高处,等待老城区电子工厂夜班的收工铃声.素来挡风的夹克挡不住湿冷刺骨的潮气.这股子潮气里还不时翻滚浓烈的腐败腥 ...
最新文章
- 工业相机参数之帧率相关知识详解
- 微软发布Azure Functions、Service Fabric和IoT Starter Kits新服务
- django 最佳实践_通过这些最佳实践来改进Django项目
- 分布式链路跟踪中的traceid和spanid代表什么？
- python字符串转浮点数_python – 无法将字符串列表转换为浮点数
- mysql 查询最顶级_2018顶级MySQL博客作者
- react生命周期钩子
- python入门指南-Python 30分钟入门指南
- 【Google设计冲刺】一种适合于创新小组的协作方式
- HDU 4968(杭电多校#9 1009题)Improving the GPA (瞎搞）
- 多线程、多核技术是什么技术？
- tomcat8设置JAVA_HOME路径
- c语言头文件下载大全,C语言头文件大全
- mysql5.7 1698 28000,MYSQL教程MySql Error 1698(28000)问题的解决方法
- 基于Java毕业设计大学生兼职网站源码+系统+mysql+lw文档+部署软件
- 阿里员工内部常用免费工具包
- Self-supervised
- UDT(【CVPR2019】Unsupervised Deep Tracking无监督目标跟踪)
- C#中Listview刷新事件的BUG
- panda 满足条件的行 index_濮阳市油田十八中：“懂礼仪，行孝道”重阳经典诵读比赛圆满落幕 - 濮阳之窗...