揭秘阿里云EB级大数据计算引擎MaxCompute

日前，全球权威咨询与服务机构Forrester发布了《The Forrester WaveTM: Cloud Data Warehouse, Q4 2018》报告。这是Forrester Wave首次发布关于云数仓解决方案（Cloud Data Warehouse，简称CDW）的测评。报告对云数仓的当前产品功能、产品路线和发展策略、市场表现等几个方面进行全面的评估，在产品能力排行榜中，阿里云力压微软排行第7。

Forrester测评报告对CDW核心功能的评估主要从解决方案的多样性、数据集成、性能和弹性扩展、安全性等方面进行，Forrester给出的评价是：阿里云（MaxCompute+DataWorks+ADB）在广泛的基础设施之上提供了一个可靠的数据分析平台，能够满足客户实时和EB规模的数据处理需求。此前媒体已经报道了DataWorks的相关细节，今天我们就来聊聊MaxCompute。

EB级数据处理能力

首先来看一组数据。

2018年双11，MaxCompute单日数据处理超过600PB，平稳支撑电商混布单元在线流量洪峰12万笔/s交易，稳定承载45%导购流量，为双11交易峰值提供了有力保障和平滑支撑。

根据官方介绍，MaxCompute是一种快速、完全托管的数据仓库解决方案，通俗地理解就是大型分布式数据计算，所以大规模计算是最基础的能力。MaxCompute已经是阿里巴巴的主力计算平台，支持了整个阿里巴巴集团内部99%的大数据存储和95%的计算，数据规模已达到EB级，上文提到的双11场景就很好地体现了规模这能力。

当然，它和传统 Hadoop 相比还有其它的优势。MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。

整体来说有如下特点：

● MaxCompute在计算引擎、分布式存储上做了优化，在Sort Benchmark中MaxCompute消耗的时间和成本都是最低，保证了最优性价比。

● 服务器资源、集群规模都是动态的弹性拓展，无需用户关心。

● 支持SQL、MR、迭代计算、内存计算、图计算等计算模型。

经历了大规模应用实践

据了解，目前MaxCompute正在为全球企业提供大数据计算能力。阿里巴巴通用计算平台负责人关涛曾表示，“在公共云上，MaxCompute每年以250%的用户量和计算量在增长，并在全球十几个国家和地区部署服务，为当地企业提供计算力。”

例如，城市大脑的底层就在使用MaxCompute做存储和大数据计算，支持了杭州、澳门、吉隆坡等城市进行智能化升级。这其中，由MaxCompute、PAI、流计算服务组成的计算平台发挥了巨大的价值。

不仅如此，MaxCompute在各大行业已经有广泛应用：

天气预测有着广泛的需求群体，每天几亿次的天气查询需求和近几十亿次的广告请求， MaxCompute则很好地应对了这一挑战。MaxCompute帮助墨迹天气实现了对每天上亿用户的天气查询需求的快速响应和几十亿次广告请求的精准投放。互联网保险行业，MaxCompute帮助众安实现精准的用户画像分析，助力企业为数亿用户提供数十亿的保单服务，提升企业效率的同时，为亿万用户送去健康与安全。

总而言之，只要有海量数据处理需求的场景，MaxCompute都能通过阿里云为用户提供快速、稳定的计算能力。

结语

从Forrester的本次研究报告可以看出，大数据技术已经进入CDW阶段，在广泛的基础设施之上提供一个可靠的数据分析平台，满足客户实时和大规模数据计算成为核心需求。

MaxCompute作为大数据计算平台，不只是单一引擎，更是面向企业的完整服务。在过去10年中，MaxCompute稳定支撑阿里集团所有数据业务的同时，早已将强大的数据能力普惠给广泛的云上企业。基于MaxCompute构建稳定、安全、可扩展及与应用系统高效交互的数据中台，已成为众多行业下客户数字转型的首选方案。

原文链接
本文为云栖社区原创内容，未经允许不得转载。

揭秘阿里云EB级大数据计算引擎MaxCompute相关推荐

一分钟了解阿里云产品：大数据计算服务MaxCompute概述
阿里云发布了许多产品,今天让我们来了解下大数据计算服务MaxCompute这款产品吧. 什么是MaxCompute呢? MaxCompute是由阿里云自主研发,是阿里巴巴自主研发的海量数据处理平台.提 ...
odps传大文件到oss上_【大数据干货】数据进入阿里云数加-大数据计算服务MaxCompute（原ODPS）的N种方式...
原文链接:http://click.aliyun.com/m/13946/ 想用阿里云大数据计算服务(MaxCompute),对于大多数人首先碰到的问题就是数据如何迁移到MaxCompute中.按照数 ...
阿里巴巴大数据计算平台MaxCompute（原名ODPS）全套攻略（持续更新20171127）
概况介绍大数据计算服务(MaxCompute,原名ODPS,产品地址:https://www.aliyun.com/product/odps)是一种快速.完全托管的TB/PB级数据仓库解决方案.Ma ...
腾讯 PB 级大数据计算如何做到秒级？
天穹 SuperSQL 是腾讯自研,基于统一的 SQL 语言模型,面向机器学习智能调优,提供虚拟化数据和开放式计算引擎的大数据智能融合平台.在开放融合的 Data Cloud 上,业务方可以消费完整的 ...
2022 IoTDB Summit：阿里白渐《迈向物联网时代大数据计算平台——MaxCompute 基于IoTDB构建解决方案》...
12 月 3 日.4日,2022 Apache IoTDB 物联网生态大会在线上圆满落幕.大会上发布 Apache IoTDB 的分布式 1.0 版本,并分享 Apache IoTDB 实现的数据管理 ...
电视台成阿里云下一个大数据重塑目标
本文讲的是电视台成阿里云下一个大数据重塑目标,[IT168专稿]继空调之后,电视台成为阿里云计算的下一个大数据重塑目标.3月20日下午,阿里云宣布联手新奥特.华通云数据,打造中国最大的全媒体云计算平台 ...
王坚十年前的坚持，才有了今天世界顶级大数据计算平台MaxCompute...
如果说十年前,王坚创立阿里云让云计算在国内得到了普及,那么王坚带领团队自主研发的大数据计算平台MaxCompute则推动大数据技术向前跨越了一大步. 数据是企业的核心资产,但十年前阿里巴巴的算力已经无 ...
王坚十年前的坚持，才有了今天世界顶级大数据计算平台MaxCompute
2019独角兽企业重金招聘Python工程师标准>>> 如果说十年前,王坚创立阿里云让云计算在国内得到了普及,那么王坚带领团队自主研发的大数据计算平台MaxCompute则推动大数据 ...
大数据计算服务MaxCompute行业开发应用案例
(MaxCompute(原ODPS)是一项大数据计算服务,它能提供快速.完全托管的PB级数据仓库解决方案,使您可以经济并高效的分析处理海量数据.) 大数据计算服务(MaxCompute,原名 ODPS ...

揭秘阿里云EB级大数据计算引擎MaxCompute

揭秘阿里云EB级大数据计算引擎MaxCompute相关推荐

最新文章

热门文章