79-Spark Standalone架构设计要点分析

Apache Spark是一个开源的通用集群计算系统，它提供了High-level编程API，支持Scala、Java和Python三种编程语言。Spark内核使用Scala语言编写，通过基于Scala的函数式编程特性，在不同的计算层面进行抽象，代码设计非常优秀。

RDD抽象

RDD（Resilient Distributed Datasets），弹性分布式数据集，它是对分布式数据集的一种内存抽象，通过受限的共享内存方式来提供容错性，同时这种内存模型使得计算比传统的数据流模型要高效。RDD具有5个重要的特性，如下图所示：

上图展示了2个RDD进行JOIN操作，体现了RDD所具备的5个主要特性，如下所示：

一组分区
计算每一个数据分片的函数
RDD上的一组依赖
可选，对于键值对RDD，有一个Partitioner（通常是HashPartitioner）
可选，一组Preferred location信息&

79-Spark Standalone架构设计要点分析相关推荐

Spark Standalone架构设计要点分析
全栈工程师开发手册 (作者:栾鹏) 架构系列文章 Apache Spark是一个开源的通用集群计算系统,它提供了High-level编程API,支持Scala.Java和Python三种编程语言.Sp ...
Flume(NG)架构设计要点及配置实践
Flume(NG)架构设计要点及配置实践 http://shiyanjun.cn/archives/915.html 转载于:https://blog.51cto.com/vikenxu/165732 ...
新时期下大型数据中心机房给排水及消防设计要点分析
20世纪以来,全球的经济和科技都得到了非常惊人的发展,人类也在20世纪正式迎来了信息时代.互联网行业的蓬勃发展让各类信息采集和传播技术得到了前所未有的水平,信息技术和互联网的不断发展和普及带来的就是庞 ...
Spark商业案例与性能调优实战100课》第20课：大数据性能调优的本质和Spark性能调优要点分析
Spark商业案例与性能调优实战100课>第20课:大数据性能调优的本质和Spark性能调优要点分析基于本元想办法,大智若愚,大巧若拙!深入彻底的学习spark技术内核!
Hadoop YARN架构设计要点
YARN是开源项目Hadoop的一个资源管理系统,最初设计是为了解决Hadoop中MapReduce计算框架中的资源管理问题,但是现在它已经是一个更加通用的资源管理系统,可以把MapReduce计算框 ...
金融级分布式数据库架构设计要点
行业背景银行业从最初的手工记账到会计电算化,到金融电子化,再到现在的金融科技,可以看到金融与科技的结合越来越紧密,人工智能.大数据.物联网.区块链等新兴技术改变了金融的交易方式,为金融行业的创新前行 ...
秒杀系统架构设计与分析
秒杀系统架构分析与实战 2016-01-18陶邦仁Qunar技术沙龙 1 秒杀业务分析正常电子商务流程 (1)查询商品:(2)创建订单:(3)扣减库存:(4)更新订单:(5)付款:(6)卖家发货秒 ...
架构设计案例分析-高速公路收费运营管理平台
本文旨在通过对某省高速公路联网收费运营管理平台的架构设计过程进行案例分析,描述架构设计的决策过程. 1.业务背景某省的高速公路分为近百个路段,不同的路段归属不同的公司建设与运营,造成了车辆在跨越不同 ...
网购秒杀系统架构设计案例分析
大型网站技术架构-核心原理与案例分析作者:李智慧申明:文章版权归作者所有,若有侵权,请联系删除秒杀是电子商务网站常见的一种营销手段:将少量商品(通常只有一件)以极低的价格,在特定的时间点开始出售 ...

79-Spark Standalone架构设计要点分析

79-Spark Standalone架构设计要点分析相关推荐

最新文章

热门文章