Driver program:

运行应用程序的main函数并创建SparkContext的进程
除了RDD的最终执行所写的业务逻辑，剩下的都在Driver里生成，Driver端执行action算子才会到开始执行所创建的DAG-RDD图。

Cluster manager：

用于获取集群资源外部服务

Master：

进程，负责整个集群的调度、分配、监控等职责

Worker node：

进程，负责存储RDD的某个或某些Partition，启动其他进程或线程，对RDD的partition处理和计算

Executor：

进程，运行任务，并将数据保存在内存或磁盘存储区中
Driver端产生Task进行序列化通过网络传输给Executor，Executor进行反序列化后让进线程池中执行Task

Job

Spark中每个action对应着一个Job，transformation不是Job。

Task：

线程，对RDD的partition进行并行计算
一个Job被拆分成若干个Stage，每个Stage执行一些计算，产生一些中间结果。它们的目的是最终生成这个Job的计算结果。而每个Stage是一个taskSet，包含若干个task。Task是Spark中最小的工作单元，在一个executor上完成一个特定的事情，Executor的每个core每次只能执行一个task。

Stage：

每个作业被划分为更小的任务集，称为相互依赖的阶段（类似于map reduce中的map和reduce阶段）
Stage个数：1+shuffle依赖的数量（resultStage+shuffleMapStage）：反向推导，每进行一次宽依赖（也就是每进行一个shuffle）前面的RDD就被分到一个Stage里。
例：下面进行了两个宽依赖（两次shuffle）

Spark一些组件的定义相关推荐

【配置】成本组件结构定义（OKTZ）
成本组件结构定义我们在使用CK11N核算物料标准成本时候可以看到有项目明细,也可以看到有成本构成,那么问题来了,怎么将项目明细分类到各个成本构成上面呢? [后台配置路径]: SPRO→控制→产品成本 ...
Vue学习（组件的定义及调用、路由）-学习笔记
文章目录 Vue学习(组件的定义及调用.路由)-学习笔记 Vue学习(组件的定义及调用.路由)-学习笔记可见代码参考学习:https://gitee.com/monkeyhlj/vue-learni ...
Spark中组件Mllib的学习40之梯度提升树（GBT）用于回归
更多代码请见:https://github.com/xubo245/SparkLearning Spark中组件Mllib的学习之分类篇 1解释 GBRT(Gradient Boost Regr ...
vue中在当前组件中定义的全局变量怎么在methods中使用_Vue原理解析（十）：搞懂事件API原理及在组件库中的妙用...
在vue内部初始化时会为每个组件实例挂载一个this._events私有的空对象属性: vm._events = Object.create(null) // 没有__proto__属性这个里面存放 ...
Spark四大组件包括Spark Streaming、Spark SQL、Spark MLlib和Spark GraphX。
Spark四大组件包括Spark Streaming.Spark SQL.Spark MLlib和Spark GraphX.它们的主要应用场景是: Spark Streaming: Spark Str ...
Spark中组件Mllib的学习16之分布式行矩阵的四种形式
来源:http://blog.csdn.net/xubo245/article/details/51483995 更多代码请见:https://github.com/xubo245/SparkLear ...
Spark中组件Mllib的学习15之创建分布式矩阵
更多代码请见:https://github.com/xubo245/SparkLearning Spark中组件Mllib的学习之基础概念篇 1解释创建分布式矩阵 2.代码: /*** @autho ...
Spark中组件Mllib的学习19之分层抽样
更多代码请见:https://github.com/xubo245/SparkLearning Spark中组件Mllib的学习之基础概念篇 1解释分层抽样的概念就不讲了,具体的操作: RDD有个操 ...
上期所API头文件四、ThostFtdcTraderApi.h--交易相关组件的定义（源代码6.3.19版）
交易相关组件的定义一.spi 1.1.以On...开头 1.2.以OnRsp...开头 1.3.以OnRtn...开头 1.4.以OnErrRtn...开头二.Api 2.1.Create... ...

Spark一些组件的定义