变而不变：我看分布式系统发展和阿里实践

原文链接：http://click.aliyun.com/m/13967/

大数据计算服务(MaxCompute)是一种快速、完全托管的PB/EB级数据仓库解决方案。具备万台服务器扩展能力和跨地域容灾能力，是阿里巴巴内部核心大数据平台，支撑每日百万级作业规模。

MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。

相对而言，Reshuffle数据需要落盘，因为Resuffle把多个机器联系起来，出错概率大大增加。但是落盘大大降低了系统的性能，如果只是简单用network的方式来Shuffle数据，则不能容错。

而MaxCompute采用Network-Disk的可自适应性的channel来进行Data-Shuffle。

在MaxComputeAPI取舍中，二八原则体现得十分明显。流计算用户80%对latency更为看重，批处理用户80%对throughput更为看重，我们BI系统希望服务好高频的20%的数据，使得80%的访问都达到毫秒级。

系统设计中常用方法有：空间换时间、时间换空间、API层次设计、系统中层次法。MaxCompute数仓采用层次化设计方法。一致性变强，容量变小，吞吐性能变小，成本变高，问题规模变小。

转载于:https://blog.51cto.com/11778640/1906659

变而不变：我看分布式系统发展和阿里实践相关推荐

从myspace数据库看分布式系统数据结构变迁
从myspace数据库看分布式系统数据结构变迁 http://smb.pconline.com.cn/database/0808/1403100.html [08-29 14:33:40]出处:pco ...
专访百度蒋凡：从RecSys2013大会看推荐系统发展新趋势
专访百度蒋凡:从RecSys2013大会看推荐系统发展新趋势发表于2013-10-28 11:38| 2169次阅读| 来源CSDN| 6 条评论| 作者薛梁 RecSys2013数据挖掘大数据推荐 ...
从电子游戏历史看IC发展的助推剂
我一直认为"玩"是人类发展进度的阶梯之一,从历史进程看,很多重大的发明都是从"玩"的过程中发现的,所以电子游戏的历史和IC的发展有很多重大的历史渊源,而且电子游 ...
变速恒频风电机组的优缺点_两种主流变速恒频风电机组技术发展综述
两种主流变速恒频风电机组技术发展综述 [摘要]通过对目前大型风电机组技术研究,分别对双馈异步.永磁同步直驱两种主流变速恒频机组从典型接线方式, 各种控制技术研究热点等多方面进行分析比较, 认为新 ...
《架构设计2.0大型分布式系统架构方法论与实践》三高笔记
目录前言高并发高并发读动静分离与CDN加速缓存并发读与Pipeline 重写轻读读写分离批量高并发写数据分片任务分片异步化批量高可靠七板斧高可用高可用架构几个核心问题 ...
【渝粤题库】国家开放大学2021春1703农村发展理论与实践题目
试卷代号:1703 2021年春季学期期末统一考试农村发展理论与实践试题 2021年7月一.单选题(20题,每题3分,共60分) 1.在农村发展的"参与式方法"中," ...
android 第三方社区,从友盟微社区看Android第三方SDK架构实践
原标题:从友盟微社区看Android第三方SDK架构实践开发Android第三方SDK说难不难,但说简单也不简单,要开发一个给很多人使用的第三方SDK,如何在保证稳定性的同时,增强SDK的灵活性,让 ...
一看就懂关于阿里云服务器地域和可用区的选择方法
阿里云服务器地域和可用区是什么关系?很多用户不清楚什么是地域?什么是云服务器可用区,地域是指云服务器数据中心所在的物理位置,可用区是指同地域下电力和网路相互独立的区域,阿里云服务器网分享云服务器地域和 ...
帆软行业总监陈鹏：从500强企业看企业数据应用最佳实践
近日,畅享网携手appcan成功举办企业"移动化"案例分享沙龙.本次沙龙由新城控股集团星翼空间总经理從申主持,精准聚焦"移动化"成功转型案例.会上,各位IT专业 ...

变而不变：我看分布式系统发展和阿里实践

变而不变：我看分布式系统发展和阿里实践相关推荐

最新文章

热门文章