阿里飞天大数据飞天AI平台“双生”系统正式发布，9大全新数据产品集中亮相

作者 | 夕颜

责编 | 唐小引

出品 | AI科技大本营（ID:rgznai100）

如今，大数据和 AI 已经成为两个分不开的词汇，没有大数据，AI 就失去了根基；没有 AI，数据不会呈现爆发式的增长。如何将 AI 与大数据有机结合，成为很多企业的目标和方向。

阿里巴巴也在进行着这样的尝试。幸运的是，现在，他们已经实现了这个目标。

9 月 26 日，在杭州云栖小镇举行的云栖大会大数据&AI 峰会上，阿里云智能计算平台事业部资深产品专家李京梅正式发布向公众发布了飞天大数据平台和飞天 AI 平台。

飞天大数据与飞天AI平台“双生”系统

李京梅把这两者比喻为一对孪生兄弟，同出同进，相互使能，形成密不可分的有机结合关系。在大数据与AI形成的双生系统中，大数据平台为 AI 提供数据和算力，AI 反过来优化大数据系统，让大数据可以“自动驾驶”，做到智能优化，AI 加持的大数据计算能力大大提升。

作为飞天 AI 平台的核心，机器学习平台 PAI 在这张图中处于中间的位置。李京梅说道，人工智能发展有三要素，包括数据、算法和算力，同样的算法，放到十年前，由于没有大数据上的天时地利，这些算法可能不会产生和今天同等的价值。所以，大数据平台和AI 平台之间互相使能在于大数据为机器学习的平台创造了海量的数据，让 AI 产生更多能力，而当 AI 落地后，行业系统和业务系统又产生更多、更丰富的数据，产生一个数据生产的闭环，大数据和 AI 并行，会创造更多的价值。

她介绍道，阿里巴巴飞天大数据平台具备数据综合治理、数据构建、数据交换等能力，赋能机器学习 PAI 平台，完成统一的调度和编排。它还可以对接各种大数据计算引擎，进行统计交互式分析和云计算技术业务。

在此之前，阿里云智能计算平台事业部研究员关涛和阿里云智能计算平台事业部资深技术专家徐晟还介绍了飞天大数据平台和飞天AI平台的发展历程，并揭秘了一部分飞天大数据平台技术。

关涛表示，从 2009 年开始研发开始，飞天大数据平台经历了两个阶段的发展。

第一阶段：2009 年-2015 年，这一时期，团队更多关注的是平台的稳定性、易用性和可用性，到 2009 年发布“登月”项目，阿里的所有数据都集中到这一平台，阿里的中台也建设起来；
第二阶段：2015 年之后，随着大数据爆炸时代的到来和深度学习的发展，数据处理能力成为制约 AI 发展的瓶颈，数百 PB 级的数据处理问题、激增的数据处理复杂度成为摆在 CIO/CTO 面前的现实问题。

面对体量问题，阿里通过高效的算子层与存储层的优化，寻找“最优”的执行计划（算子组合），动态查询计划，灵活的算子组合，动态调整与自学习调优，从引擎优化带自学习调优，基于历史信息恶自学习回归优化，全面自适应优化几个方面持续升级了自己的计算力，并使得性能提升前提下存储成本降低 30%，计算新规格上线后成本降低 70%。

徐晟表示，大数据平台升级为飞天大数据平台，很大部分来自于广大企业用户在业务快速发展时期产生的数据治理需求，众所周知，数据是企业的生产力，创新的企业在快速发展过程中，会选择更加灵活、适配自身业务的数据存储与计算，当企业的业务已经铺遍全国，一定会存在存储跟着数据走、数据跟着业务走的局面（即数据分布在各个区域的数据平台上），传统的大数据解决方案，是帮助企业汇聚统一的大数据平台，所有数据存储在一起，计算在一起，而飞天大数据平台可以让客户实现跨存储数据计算、跨地区数据分析、跨云数据使用，让客户的数据技术紧跟业务的发展，让客户实现个性化搭建大数据平台。

多个大数据新品发布

紧接着，李京梅进行了几项全新产品发布，以下为新品盘点和亮点提炼：

DataWorks V3.0

DataWorks V3.0 的定位是一个云原生企业级智能大数据平台，为用户提供技术工具和平台，新特性包括全面支持开源大数据生态，实现管理、任务调度和质量监控等；混合调度能力升级，实现跨引擎、跨区域、跨云调度；多引擎开发平台，可对接多个引擎，并支持自定义引擎；AI 算法能力，结合 AI 和大数据能力；全新升级的数据综合治理能力。

机器学习平台 PAI

PAI 是飞天 AI 平台下最核心的产品。它的核心功能是让训练更容易，不懂算法背景也可以通过拖拉拽动作对图片进行分类；在 AI 市场中，让算法模型交易更容易；支持算法自定义上传，与开源生态对接更容易。

MaxCompute V3.0 大数据智能云数仓

今天，我们进行入了一个智能化数仓时代，MaxCompute 也经历了十年左右的发展，它一方面使得数据量和成本的线性关系得到优化，并为用户带来两点好处，一是可以直接享受计算存储，成本降低 70%，第二是降低上云的成本，缩减上游周期。

E-MapREduce V4.0

E-MapReduce 是阿里的云原生开源大数据平台，V4.0 为轻量级敏捷版，小微服务缩减到 9 台服务器，适配 ECS，可为企业节省成本。

实时计算云原生版本

实时计算云原生版本由 Ververica 提供支持，支持开源 Flink 1.6 至 1.9 版本，具有开箱即用的特点，提供多个可插拔增值服务，且产品基础版本可免费使用。

新一代实时交互时分析

可实现 MaxCompute 加速，快速构建实时仓库、联邦查询功能。

Elasticsearch V2.0

图计算引擎+开发套件

性能领先业界 1-3 个数量级，索引构建可实现秒级弹性扩缩容，支持 50 多种场景，最高支持百亿节点、1000亿边、30 TB规模的图计算，建模与查询简单直观，并包含一套针对图计算的开发套件。

开放搜索 OpenSearch V2.0

适用用户精准画像，提升搜索带来的业务价值，包括查询语义理解，机器学习排序算法、专业搜索效果迭代工具。

把飞天大数据平台和飞天 AI 平台“打包”，放在一起在阿里最重要的会议之一上一起亮相，阿里自有深意。随着 9 大全新数据产品的发布，阿里对自身的数据能力做了一次集中展示。这波操作你觉得稳不稳？欢迎留言讨论。AI 科技大本营将继续在云栖大会前线带来最新报道，敬请关注~

（*本文为 AI科技大本营原创文章，转载请微信联系作者 1092722531）

阿里飞天大数据飞天AI平台“双生”系统正式发布，9大全新数据产品集中亮相相关推荐

如何基于大数据及AI平台实现业务系统实时化？
简介: 后疫情时代的新社会模式及经济形态必将催生出新的商业模式,在线业务及相关应用场景的流量呈现井喷式发展,常规的离线系统及离线机器学习平台已无法满足业务发展要求. 作者:高旸(吾与),阿里巴巴高级技 ...
开放下载！《阿里巴巴大数据及AI实战》深度解析典型场景大数据实践
来源:开发者社区本文约2000字,建议阅读5分钟. 阿里经济体大数据及AI典型场景最佳实践全揭秘.2019不容错过的大数据实战手册--<阿里巴巴大数据及AI实战>现在可以免费下载阅读啦! ...
云从科技从容大模型：大模型和AI平台什么关系？为什么造行业大模型？
原创:亲爱的数据 2023年5月18日,坐标广州南沙,来自云从科技的"云从从容大模型"正式亮相. 自此,云从科技从CV四小龙"进阶"成为一家AI大模型公司,同时 ...
新一代开源数据可视化开放平台，是如何做实时大屏/报表的？
先看两张简单配置的习作 datart 实时大屏--决策驾驶舱 datart--生产大屏上面是在国产开源的数据可视化 datart 上简单配置的两个实时大屏,截图展现不出来交互的效果,下面传一段视频: ...
linux 大文件按照大小切割,关于linux系统下分割大文件的方法
关于linux系统下分割大文件的方法在linux中分割大文件,比如一个5gb日志文件,需要把它分成多个小文件,分割后以利于普通的文本编辑器读取. 有时,需要传输20gb的大文件到另一台服务器,也需要 ...
大数据毕设选题 - 旅游数据分析可视化系统（python 大数据）
文章目录 0 前言 1 课题背景 2 数据处理 3 数据可视化工具 3.1 django框架介绍 3.2 ECharts 4 Django使用echarts进行可视化展示(mysql数据库) 4.1 ...
飞天 AI 平台重磅发布！阿里拥抱 AI 这五年
简介: 2014 年,一个名为"iDST"的神秘部门的诞生开启了阿里的人工智能新征程,5 年后,初长成的达摩院成为了阿里 AI 崛起的代表性力量.如今,阿里已跻身全球人工智能技术研 ...
为什么阿里飞猪、滴滴、携程都被质疑滥用大数据杀熟？
技术本无罪,用的人多了,自然成为掩盖人性罪恶的根源.支撑「互联网+」时代的大数据是如何一步一步沦落成利益的刽子手的? 2018 年,「大数据杀熟」一词开始进入大众视野,且在互联网领域掀起了腥风血雨.近 ...
全民战“疫”，大数据和AI厂商做了什么……
在这次全民战"疫"中,云计算.大数据.人工智能等技术都得到了广泛而深入的应用.在此,我们仅撷取一些片段,共同感受科技战"疫"的强大能量.(排序不分先后) 永洪科 ...

阿里飞天大数据飞天AI平台“双生”系统正式发布，9大全新数据产品集中亮相

阿里飞天大数据飞天AI平台“双生”系统正式发布，9大全新数据产品集中亮相相关推荐

最新文章

热门文章