金磊 发自 凹非寺
量子位 报道 | 公众号 QbitAI

还是熟悉的华为开发者大会 (HDC),还是熟悉的余承东

也还是一贯地擅长宣布“世界第一”:

业界首个千亿级生成与理解中文NLP大模型。

业界最大的CV大模型。

这就是余承东刚刚发布的大模型,名曰华为云盘古大模型

要知道,千亿级的参数规模,可是已经逼近人类神经元的数量了!

余承东激动地介绍道,“这是今天最重磅的产品”!

(随即,现场掌声如雷)

这届华为开发者大会在熟悉之余,也有所不同:

•    不一样的身份:这一次,余承东新增了一个身份,华为云CEO。

•    不再“硬”的产品:这一次,没有手机、电脑和芯片,而是偏“软”的开发者产品。

余承东在现场也表示:

云是ICT产业的未来,开发者是产业发展的灵魂。华为将继续开放技术创新能力,携手开发者、伙伴共同加速行业全面云化和智能升级。

云化,是不可阻挡的潮流;云,是21世纪的未来。

拿下“第一”的最大AI大模型,有多强?

如其名,盘古,煞有开天辟地之势。

怎么说?

先观其貌,横揽AI领域四大热门方向

  • 自然语言处理(NLP)大模型

  • 计算机视觉(CV)大模型

  • 多模态大模型

  • 科学计算大模型

很明显,相比于现有的大模型,盘古并不是“单项”选手,而是全能型的那种。

再闻其详,纵达业界能力之最

  • 华为云盘古NLP大模型:是业界首个千亿参数中文语言预训练模型,预训练阶段学习了40TB中文文本数据,是最接近人类中文理解能力的AI大模型。

  • 华为云盘古CV大模型:是目前业界最大的视觉预训练模型,包含超过30亿参数。

具体而言,盘古NLP大模型在权威的中文语言理解评测基准CLUE榜单中,总成绩及分类、阅读理解单项均排名第一,刷新三项榜单世界历史纪录,总成绩得分83.046。

而盘古CV大模型,则在ImageNet 1%、10%数据集上的小样本分类精度上,达到了业界最高水平。

但最重要的,华为云盘古大模型的真·奥义,还真不是拿下各种“第一”秀肌肉。

一言蔽之,实则直击痛点,毕竟天下苦AI开发久矣。

即便到了现在,AI开发的过程,较为贴切的比喻应该是“作坊模式”,换言之,就是需要手动的工作太多、太频繁。

具体而言,常常困扰AI开发者的问题包括,从零开始、独立调优、艰难迭代、推倒重来……

若是再聚焦到“千亿参数”的规模,要训练这样的模型,还需要开发者手工编写大量的并行、切分和通讯代码。

(啊~多么痛的领悟)

讲真,明明从事AI的开发,但这样真的很不AI

此局又该如何破解?

工厂模式,了解一下。

华为云盘古大模型的开发模式,是“预训练+下游微调”,这也是与目前全球主流大模型(如Bert)所匹配的一种模式。

简单来说,这种模式的一大优点,就是拥有极强的泛化能力

也就是说这个模型可以做到“举一反三”:

同样的一个模型,可以在多个场景中适用,而且还是非常复杂的那种。

不仅如此,数据量少小样本,也是困扰AI开发者的一大难题。

而华为云盘古大模型,却可以做到在少量样本的情况达到高精度,在这方面超越了GPT系列。

……

“功夫”已经展露,接下来的一个问题就是:

华为云盘古大模型,是如何炼成的?

左手CANN算子,右手MindSpore框架,主要依托的便是这两大“基本功”。

CANN是华为推出的异构计算架构,2018年推出1.0版本至今,已经迭代到了3.0版本。

目前不仅使用于推理、训练场景,还能够实现“端边云协同”。这就意味着不必在不同的终端,再去开发不同的算子,大大提高了效率。

例如基于CANN,就能让ResNet-50模型的训练时间降低到28s。

MindSpore则是华为于2019年推出的全场景AI计算框架,其中的一大特色,就是具有全自动混合并行方案

而华为云盘古大模型,基于二者之外,还融合了三种并行技术:模型并行数据并行流水线并行

如此一来,开发者就只需要编写单机算法代码、添加少量并行标签,就可以实现模型训练的自动切分。

举个实战例子,用盘古训练超大模型静态图,性能直接提升了40%之多!

以为余承东站台的活动,仅仅就“重磅推出”了个盘古?

No,No,No,事情定然没有这么简单。

同级别!同分量!还有五大产品和服务

  • 华为云CCE Turbo容器集群:从计算、网络和调度三方面,让容器更加强大。这也是业界唯一支持100%容器虚拟化的集群。

  • 华为云GaussDB(for openGauss)数据库:让核心数据库上云,与传统分布式数据库相比,在性能、弹性、可用性方面更强,是金融领域安全级别的那种。

  • 可信智能计算服务(TICS):在安全保障的前提下,解决数据难开放、共享流通的问题,而且无须转换就能适配业界主流的大数据应用场景。

  • 华为云CloudIDE智能编程助手:可以实现“让程序自己写程序”,还能随时随地、使用任何终端在线编程。

  • 多样性计算基础软件:云的创新离不开操作系统、数据库、中间件等基础软件根技术的支撑。如果说处理器是计算产业的“芯”,基础软件就是计算产业的“魂”。华为将围绕鲲鹏、昇腾构建多样性计算产业,尤其是在计算基础软件上持续投入,构建了包括操作系统、数据库、AI计算框架等全套计算基础软件栈,使能多样性算力,支撑华为云的产品和服务创新。

而从华为云此次发布的新品中不难看出,所围绕的一个核心人群,就是开发者。

这也是华为云明确做智能世界“黑土地”定位以来,为开发者增添的又一笔宝贵的资源。

正如华为云所述:

为开发者提供技术支持,并提升开发效率和质量。

这是华为给开发者所带去的,反之,站在开发者角度,一个问题便由此浮现。

开发者们能从这块“黑土地”得到些什么?

要回答这个问题,首先要知道的是在华为云的“黑土地”中,有什么

华为云最早在2015年提出了“沃土计划”,并在2019年发布了“沃土计划2.0”,目标非常明确且简洁:

坚持“硬件开放、软件开源、使能伙伴、发展人才”,推动产业繁荣发展,,5年发展500万开发者。

2020年,华为在沃土计划2.0计划上,总投入已经达到了2亿美元 (约13亿人民币)的规模。

长久以来所坚持,也让华为云的这片“黑土地”养分更足。

就在4天前(4月21日),在国际知名研究机构Gartner的报告中,便对当前的云市场做了最新解读:

云计算IaaS市场保持高速增长,全球市场规模达到643.9亿美元。

而针对华为云这一块,Gartner也给出了肯定的评价:

2020年,华为云全球IaaS市场排名上升至中国前二、全球前五,主流厂商增速最快,成为全球五朵云之一

再具体一些的数据显示,华为云所保持的增速高达168%,而且已经连续四个季度位居中国公有云服务市场第二。

在现场,余承东介绍完如此成绩,激动地感谢道:

感谢有你,一路向前!

这些是华为云在市场的表现,那么回到开发者,目前又吸引了多少人呢?

超过240万

其中,华为云开发者累计已达180万;鲲鹏和昇腾开发者累计超过60万。

而能够吸引如此庞大开发人群,原因还是在于华为云黑土地给他们提供的价值:

坚持云优先,优先选择用云方式为客户提供IT基础平台服务,具体来说就是云解决方案优先、云服务商业模式优先、云伙伴优先。

持续聚焦系统和架构创新,强化软件,让黑土地更肥沃。

全力支持开发者基于“黑土地”构建面向千行百业的应用。

而华为开发者大会也正是“黑土地”的具体展现形式之一:

在这场面向开发者的技术盛宴中,开发者不仅可以体验和分享最新的ICT技术在行业的深度创新和应用,还能与业界大咖、华为科学家、顶级技术专家、天才少年和众多开发者直接交流,切磋技术。

深度参与openEuler、openGauss、MindSpore、KubeEdge、Volcano等热门开源项目;与Linux、Apache、CNCF、Rust等社区大牛探讨最新开源技术,了解异构计算、光计算、超现实与全息等前沿理论和未来技术。

值得一提的是,今年这届的华为开发者大会有一个非常鲜明的特色:第一次与全国各大高校联办。

不仅一改以往办会地址,将主会场放到了深圳大学城之中与此同时,还设置了超过20所中国985/211高校分会场。

这也不难从侧面反映出华为云对开发者(尤其高校)的重视。

而且从此次大会的议程设置方面,也能体现这一点:

1场Keynote、10场峰会、70+场扫地僧见面会、100+场专题演讲、40+场开发者训练营……

完完全全就是围绕“开发者”而展开。

毕竟,华为云认为“每一个开发者都了不起”:

在数字时代,开发者就是时代的弄潮儿,是改变世界的力量,更是企业创新的动力和产业的灵魂。

如何评价?

,着实够软

这或许是此次HDC最直观的感受之一。

华为云要做的是一块“智能世界的黑土地”,而众所周知,对于一块土地来说,越肥沃就会越软。

这也与华为云所要聚焦的点不谋而合:

聚焦系统创新、架构创新,强化软件。

然而细数过往经历,这不是华为第一次体现出“软”的一面。

早在去年的华为HAI大会上,作为与华为云能力密不可分的昇腾,便脱去了硬件实力的光环。

软件平台全面铺开,站上了C位

当时,华为表示:

极致性能,让AI计算触手可及,极简易用,让AI计算无处不在。而这个过程中软件是必需品,也是发挥硬件性能的核心。

而更早的,在2018年10月的全联接大会上,华为在发布AI战略时便推出了异构计算架构CANN 1.0和一站式AI集成开发套件MindStudio,为现今的软件生态发展奠定了重要的基础。

今天华为云发布的六大产品,可谓是给这片黑土地注入了更加肥沃的“软实力”。

除了“软”的感官之外,这届华为开发者大会让人印象深刻的第二点,便是华为对云的重视。

一方面体现在了“云优先”的战略,以及在会中强调的华为云市场表现。

另一方面,华为云的组织架构有重大调整。

重视程度,可见一斑。

但如此布局背后的原因,细分析下来可以大致分为三点。

首先,从趋势角度来看,云是ICT产业的未来

据Gartner预测,到2025年,企业传统数据中心将关闭90%;而与此相对的另一个预测则表示,届时全球企业云技术使用率将达100%。

如此可见,全面云化已经是一种未来趋势。

其次,数字化和智能化,需要云原生的能力

据预测,到2023年,云原生应用占比将达80%。以华为为例,基于云原生的能力,研发系统部署和资源使用率提升10倍以上。生产系统部署从过去2小时缩短到10分钟,一次变更成功率提升10%。

最后,AI已经成为生产力,企业AI的开发也需要“工场模式”

依旧是以华为为例,将AI引入到工程交付的各个环节后,一年节约成本超过60亿元!

……

这也就非常好的解释了,华为在云、软件生态和开发者上大力付诸行动的缘由。

最后的最后,基于此的下一步,又该怎么走?

对此,华为在此次开发者大会中也有所透露:

华为沃土计划2.0在2021年将围绕鲲鹏展翅、沃土云创、昇腾万里子计划持续投入,累计将投入2.2亿美金。

发布“沃土云创计划”:2021年将投入1亿美金资金扶持,聚焦6大技术领域(容器/微服务、SaaS化、大数据、AI、视频、智能边缘),与ISV和SaaS开发者伙伴,构建1000+创新应用。

整体来看,从过去,到现在,再未来,华为云所重视的,也正应了这届开发者大会主题:

每一个开发者都了不起。

更如余承东最后的总结:

最强的智,是众智;最大的力,是合力;每一个开发者,都在创造一往无前的奔腾时代。

世界有你,了不起!

华为云中文预训练模型发布:全球最大、千亿参数,逼近人类神经元相关推荐

  1. 6个月火速炼成千亿参数大模型!背后是披荆斩棘的华为云哥哥们

    6个月的时间为约定,他们就这样硬生生地打造了个全球领先--华为云盘古大模型: 业界首个千亿级生成与理解中文NLP大模型. 业界最大的CV大模型. 而在这场攻坚战中,华为云人工智能领域首席科学家田奇和团 ...

  2. 登顶CLUE榜单,腾讯云小微与腾讯AI Lab联合团队提出基于知识的中文预训练模型...

    点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 2018年以来,以BERT.GPT等为代表的大规模预训练模型,带来了 ...

  3. 全球首个零损耗容器等多款新品重磅发布,华为云用全栈创新普惠千行百业

    7 月 20 日,华为云TechWave 技术峰会正式在线启动.在这场以"创新·普惠"为主题的技术峰会上,华为云重磅发布多个人工智能.大数据.新一代云基础设施等新品和方案,可以说是 ...

  4. 中文预训练模型ZEN开源,效果领域内最佳,创新工场港科大出品

    允中 发自 凹非寺  量子位 报道 | 公众号 QbitAI 改进策略简单有效.收敛速度快,同时小数据效果出色. 这就是中文预训练模型ZEN. 在中文任务中,ZEN不仅性能优于BERT,也比之前中文预 ...

  5. 天池NLP中文预训练模型赛来了!

    ↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale赛事 主办单位:阿里云,CLUE,乐言科技 自从2017年具有划时代意义的Tr ...

  6. 斯坦福DAWNBench:华为云ModelArts深度学习训练全球最快

    斯坦福DAWNBench:华为云ModelArts深度学习训练全球最快 近日,斯坦福大学发布了DAWNBenchmark最新成绩,在图像识别(ResNet50-on-ImageNet,93%以上精度) ...

  7. bert中文预训练模型_HFL中文预训练系列模型已接入Transformers平台

    哈工大讯飞联合实验室(HFL)在前期陆续发布了多个中文预训练模型,目前已成为最受欢迎的中文预训练资源之一.为了进一步方便广大用户的使用,借助Transformers平台可以更加便捷地调用已发布的中文预 ...

  8. 组队学习-NLP实践-中文预训练模型泛化能力挑战赛(文本分类,bert)

    组队学习-NLP实践-中文预训练模型泛化能力挑战赛 Docker 安装与使用 阿里云镜像仓库 baseline 本机运行并提交 Docker 安装与使用 参考:https://mp.weixin.qq ...

  9. 中文预训练模型研究进展

    点击上方"AI遇见机器学习",选择"星标"公众号 重磅干货,第一时间送达 来自:专知 近年来,预训练模型在自然语言处理领域蓬勃发展,旨在对自然语言隐含的知识进行 ...

最新文章

  1. oracle 参照完整性,Oracle中用表外键来保证系统参照完整性
  2. 超硬核 ICML’21 | 如何使自然语言生成提速五倍,且显存占用减低99%
  3. error pulling image configuration: Get https://production.cloudflare.docker.com/registry-v2/docker/r
  4. Linux(Ubuntu)使用日记------ssh远程登录腾讯云
  5. java 图片滑动验证码_java实现图片滑动验证(包含前端代码)
  6. [架构之路-47]:目标系统 - 系统软件 - Linux OS硬件设备驱动 - CPU内存管理单元MMU、DMA与IO内存管理单元IOMMU
  7. 松下PLC报mewnet设备打开错误----重启电脑就好!!!
  8. 基于Python+MySQL的图书销售管理系统 课程论文+项目源码及数据库文件
  9. 圆形led屏幕_一种简单的圆形LED显示屏的制作方法
  10. 微星B550M迫击炮,设备管理器 声卡不显示Realtek解决办法
  11. 鼠标连点器同时点多个位置_C++自制鼠标连点器
  12. Html的页面演变史01
  13. mysql删不掉怎么办_mysql删除不彻底的解决方法_MySQL
  14. 整理了18个可以免费学习编程的网站
  15. 10年日语营业转行IT从深圳到日本东京圈工作生活2019copy
  16. 隐马尔科夫模型(HMM)等文章记录
  17. 七年时间,微软智能云在中国走过的“大江大河”
  18. VGG16各层处理过程
  19. 常见的几个凸函数与凹函数
  20. 实用国际(XX)计量单位表

热门文章

  1. nuget.org 发布自己的程序包
  2. linux系统运行状态检查
  3. dubbo学习笔记 第三章简介dubbo的工作原理
  4. 《数学建模:基于R》——2.2 方差分析
  5. Android开发学习之路--Notification之初体验
  6. POJ - 2549 Sumsets
  7. 【RHCE学习笔记】基于安全的NFS认证(kerberos)
  8. 返回键捕获 应用程序退出的两种方式(转)
  9. 设定Windows计划任务定期执行PowerShell脚本
  10. 技术人员,你拿什么拯救你的生活----温水煮青蛙