双11奇迹背后的大数据平台，不喧哗，自有声！

00:02:05 成交额超100亿
00:57:56 成交额超666亿
01:47:26 成交额超1000亿
15:49:39 成交额超1682亿
22:28:37 成交额超2000亿

2018年双11新纪录2135亿

高速跳转的数字，不断刷新的状态，光缆中狂奔的代码，键盘上飞舞的手指…

新的记录
绝非十年前的记录
也非2017年的记录

是产品专家紧抓不放的记录
是技术专家誓要征服的记录

是方案冷静的记录
是技术求精的记录
是框架稳定的记录
是系统健壮的记录

数据平台，计算创造价值

2004年，为了从大数据中分析当前状况，并预测未来的趋势，阿里拥有了第一个大数据仓库，到2008年，淘宝的业务量与数据量已达到2004年的数千倍，为了让数据成为生产资料，从底层重构大数据技术就显得尤为重要。

2010年春，大数据引擎MaxCompute的前身SQL Engine第一版上线，运行在当时30台机器的飞天集群上。

2011年，飞天团队开始探索支撑集团内部数仓业务，在1500台机器上并行运行云梯2的生产作业，并取得了不输于Hadoop的性能和稳定性成绩。

飞天5K项目之后，MaxCompute随之进入5000台机器和跨机房调度时代，并且可以在377秒完成100TB的排序。

现在，MaxCompute已经成为阿里巴巴的主力计算平台，阿里巴巴集团99%的数据存储以及95%的计算能力使用MaxCompute；每天有超过500万个作业在平台上运行。

2018完美支撑全球“最猛”交易洪峰

通过MaxCompute引擎助力，从2014年双11开始，千人千面成为常态。MaxCompute作为11项目背后大规模计算的秘密武器，承受住了双11期间大规模集群、海量数据、高并发量的极大考验。

MaxCompute单日数据处理量从2015年100PB，2016年180PB，到2017年320PB，再到2018年的单日处理超过500PB，不断挑战新极限，不断刷新新纪录。同时MaxCompute平稳支撑电商混布单元在线流量洪峰12万笔/s交易，稳定承载45%导购流量，顺利完成1200台DB业务混部的目标，为双11交易峰值提供了有力保障和平滑支撑。

双11期间，除了天猫、淘宝、阿里集团之外，MaxCompute还为金融、支付、新零售等各行业提供强有力的计算服务。

阿里大数据计算能力，走出集团服务全球

几年过去，通过大数据与人工智能算法的结合，MaxCompute已成为ET大脑最重要的组成部分，ET城市大脑自动指挥城市路口信号灯，并且成功应用于马来西亚的交通治理；ET工业大脑推动工厂取得更好的良品率，致力于帮助制造企业提升1%的良品率。

从数字化阿里到数字化城市，MaxCompute可以承载EB级的数据存储能力，成为全球首个100TB规模Bigbench测试通过的大数据计算平台；在公共云上覆盖国内外的十几个国家和地区，专有云上部署超过100+套。

MaxCompute不只是单一引擎，更是面向企业的完整服务。过去的10年中，MaxCompute稳定支撑阿里集团所有数据业务的同时，早已将强大的数据能力普惠给广泛的云上企业。基于MaxCompute构建稳定、安全、可扩展及与应用系统高效交互的数据中台，已成为众多行业下客户数字转型的首选方案。

从线上到线下，从生产制造到互联网电商，从国内到海外，MaxCompute的计算能力正在延伸到各行各业，极大地降低了社会的计算成本。

每一次挑战，都让MaxCompute站在新的起点，不喧哗，自有声，壮志在胸。

原文链接
本文为云栖社区原创内容，未经允许不得转载。

双11奇迹背后的大数据平台，不喧哗，自有声！相关推荐

首次探秘！双11奇迹背后的大数据力量，十年发展五部曲
第十个双11已圆满结束,但是技术的探索永不止步.阿里技术推出<十年牧码记>系列,邀请参与历年双11备战的核心技术大牛,一起回顾阿里技术的变迁. 每年双11,不仅仅是剁手族的狂欢节,更是数据 ...
340页11万字智慧政务大数据资源平台大数据底座数据治理建设方案
目录第一章项目概况 1.1 项目名称 1.2 项目单位 1.3 项目建设依据 1.4 项目建设内容和目标 1.4.1 建设内容 1.4.2 建设目标 1.5 项目投资估算及建设周期 1.5.1 ...
《程序员》11月精彩内容：大数据平台架构与技术实践
本期<程序员>呈现大数据平台架构与技术实践精彩内容,汇聚来自去哪儿.游族网络.链家网.万达金融等公司的技术专家,将带领读者共同探讨热门技术应用和实践优化,深入解析蕴藏的数据价值,展现时下大 ...
340页11万字智慧政务大数据资源平台数据治理方案
一.1.1 数据治理子系统建设大数据治理子平台,提供数据标准管理.元数据管理.数据质量管理能力,实现对数据的规范治理与管理:提供数据工厂能力,实现对归集的数据进行清洗.加工,支撑业务的数据应用需求. ...
媲美5G的Wifi网速、“备战”资产一键领……揭秘双11小二背后的保障力量
如今,双11不光是购物狂欢节,更是对技术的一次"大考",对于阿里巴巴企业内部运营的基础保障技术而言,亦是如此. 回溯双11历史,这背后也经历过"小米加步枪"的阶 ...
揭秘支撑双 11 买买买背后的硬核黑科技！
作者 | 伍杏玲出品 | CSDN(ID:CSDNnews) 自2009年第一次"双11"起,如今过去11年,"双11"也从原来孤单的"光棍节&qu ...
【大数据平台】基于Spark的美国新冠肺炎疫情数据分析及预测
(本实验系中国地质大学(武汉)2022年秋期大数据平台及应用课程设计) 一.选题背景新型冠状病毒疫情是由严重急性呼吸系统综合征冠状病毒2(SARS-CoV-2)导致的2019冠状病毒病(COVID- ...
双11来临，阿里云大数据（数加）会出哪些绝招？
双11来临,阿里云大数据(数加)会出哪些绝招? 双11电商一年一度的"双11狂欢节"就要到了,眼看参加商家们都已经忙得不可开交:备货.营销.广告.预售......以往作战一般会历 ...
秘支撑双 11 买买买背后的硬核黑科技！
自2009年第一次"双11"起,如今过去11年,"双11"也从原来孤单的"光棍节",变成全民购物狂欢节.果然对象什么的靠一边去,买买买才是王 ...

双11奇迹背后的大数据平台，不喧哗，自有声！

双11奇迹背后的大数据平台，不喧哗，自有声！相关推荐

最新文章

热门文章