stage，task和job的区别与划分方式

Application

用户构建在 Spark 上的程序。由集群上的一个 driver 程序和多个 executor 组成。

Worker node

任何在集群中可以运行应用代码的节点。

Executor

一个为了在 worker 节点上的应用而启动的进程，它运行 task 并且将数据保持在内存中或者硬盘存储。每个应用有它自己的 Executor。

Job:一个由多个任务组成的并行计算,当需要执行一个rdd的action的时候,会生成一个job

Stage:每个Job被拆分成更小的被称作stage(阶段)的task(任务)组,stage彼此之间是相互依赖的,各个stage会按照执行顺序依次执行.

Task: 一个将要被发送到Executor中的工作单元,是stage的一个任务执行单元,一般来说,一个rdd有多少个partition,就会有多少个task,因为每一个task知识处理一个partition上的数据

比如:一个Mapreduce程序就是一个Job，而一个Job里面可以有一个或多个Task，

Task又可以区分为MapTask和ReduceTask.一个Application和一个SparkContext相关联，

每个Application中可以有一个或多个Job，可以并行或者串行运行Job。Spark中的一个Action可以触发一个Job的运行。

在Job里面又包含了多个Stage，Stage是以Shuffle进行划分的。在Stage中又包含了多个Task，多个Task构成了Task Set。

Mapreduce中的每个Task分别在自己的进程中运行，当该Task运行完的时候，该进程也就结束了。和Mapreduce不一样的是，Spark中多个Task可以运行在一个进程里面，而且这个进程的生命周期和Application一样，即使没有Job在运行。

Stage的划分过程

Spark Application只有遇到action操作的时候才会真正的提交任务并行计算，DAGScheduler 会根据各个RDD之间的依赖关系形成一个DAG，并根据ShuffleDependency 来进行stage的划分，stage包含多个tasks，个数由该stage的finalRDD决定，stage里面的task完全相同，DAGScheduler 完成stage的划分后基于每个Stage生成TaskSet，并提交给TaskScheduler，TaskScheduler负责具体的task的调度，在Worker节点上启动 task。

stage的划分过程：从最后一个RDD开始，调用递归，从后往前推，找该RDD和父RDD之间的依赖关系，如果是窄依赖，会继续找父RDD的父RDD，如果是宽依赖，就会从该RDD开始到前面所有的RDD划分为一个stage，递归的出口是直到找不到父RDD，最后把所有的RDD划分为一个stage