SparkContext解析

1、SparkContext概述

Spark的程序编写是基于SparkContext的，体现在2方面：①Spark编程的核心基础（RDD），第一个RDD是由SparkContext创建的；②Spark程序的调度优化也是基于SparkContext，RDD在一开始不会立即运行，会交给框架，主要是SparkContext。

Spark程序的注册是在SparkContext实例化时候生成的对象来完成的，也就是SchedulerBackend。

Spark程序运行的时候通过Cluster Manager获得具体的计算资源，也是通过SparkContext产生的对象SchedulerBackend来获取的。

SparkContext崩溃或者结束的时候整个Spark程序也结束了。

2、SparkContext中的三大核心对象

SparkContext创建的时候有4大核心：DAGScheduler，TaskScheduler，SchedulerBackend和MapOutputTrackerMaster。

DAGScheduler：面向Job的Stage的高层调度器；

TaskScheduler：是一个接口，根据具体的Cluster Manager的不同会有不同的实现；

SchedulerBackend：是一个接口根据具体的Cluster Manager的不同会有不同的实现，有三大核心功能：①负责与Master连接注册当前程序，②接收集群中为当前应用程序而分配的计算资源Executor的注册，并管理Executor。③负责发送Task到具体的Executor执行；

MapOutputTrackerMaster：负责Shuffle中数据输出和读取的管理。

3、 SparkContext源码

（1）SparkContext的默认构造器必须传入Sparkconf

（2）在SparkContext实例化的时候，默认构造器中所有不在方法中的内容都会被实例化，很多成员都会被赋值，其中有一个关键的代码createTaskScheduler，他调用的时候返回了SchedulerBackend和TaskScheduler具体的实例，然后基又构建了DAGScheduler。

（3）进入createTaskScheduler方法中，他这里面根据不同的模式local模式或者其他模式进行不同的处理。默认情况下local模式task失败不重试，其他模式下失败可以重试。

以Standlone模式进行解读，源码如下，根据传进的url，首先创建TaskSchedulerImpl（底层调度器的核心和灵魂），创建TaskSchedulerImpl的时候必须创建一个Schedulerbackend，在TaskSchedulerImpl.initialize的时候将Schedulerbackend他作为一个参数传入。StandaloneSchedulerBackend是被TaskSchedulerImpl来管理的。

然后进入到TaskSchedulerImpl的initialize方法中，这个主要是确定任务具体的调度方式，这里有两种方式FIFO（默认方式，先进先出的方式）和FAIR。在TaskSchedulerImpl实例调用initialize时首先构建一个调度池SchedulerPool。

（4）createTaskScheduler执行完后返回的TaskScheduler实例为TaskSchedulerImpl，Scheduler的实例为StandaloneSchedulerBackend。代码继续往下走执行_taskScheduler.start()，因为taskScheduler返回的实例是TaskSchedulerImpl，所以调用TaskSchedulerImpl的start方法。

start方法里面调用的是它管理的StandaloneSchedulerBackend的start方法。

（5）在StandaloneSchedulerBackend的start方法中有个Commond比较关键，我们的StandaloneSchedulerBackend向我们的集群进行注册的时候，会把commond传递给master，master会到worker让worker去启动具体进程资源的时候，具体进程的主类的名字，就叫CoarseGrainedExecutorBackend。

（6）CoarseGrainedExecutorBackend是有main方法的入口类，这个就是我们的executor所在进程的入口，我们修改指令就可以修改框架，用自己实现的ExecutorBackend。

在他的main方法中执行run方法的时候

在run方法中new出了CoarseGrainedExecutorBackend这个类的实例

注意：在启动CoarseGrainedExecutorBackend之后就会启动executor，executor启动之后转过来向driver注册，这个话是的。要先注册成功才会分配executor

（7）回到StandaloneSchedulerBackend中，从commond往下走，start的时候new了一个StandaloneAppClient。

进入到StandaloneAppClient这个类中，参数有RpcEnv，mater数组，应用程序的description，还有一个监听器，集群发送事件的时候会被回调

在里面有个重要的内部类ClientEndpoint，在start方法中new出它

在ClientEndpoint启动的时候会有registerWithMaster。这时候开始注册，在注册的时候变成tryRegisterAllMasters，AllMasters是因为有的时候会有多个master，实际上生产环境一定有多个master，做HA。

我们创建一个线程池，在tryRegisterAllMasters注册的时候，从registerMasterThreadPool拿一个线程去注册

在tryRegisterAllMasters是注册给master，所以这里有master的引用，然后就send一个消息过去。这边会发送一个RegisterApplication，他是case class，里面描述了我们应用程序的相关信息，包括名称，使用最大cpu个数，还有每个executor使用的memory的内容等，这里的command就是刚才的command，还有appUiUrl是web上面显示的url

（8）转过来就是交给我们的master去注册，master在收到RegisterApplication的消息之后，通过给worker发送指令启动executor，其实是executorbackend进程去启动executor的。这些所有的executor都要向SchedulerBackend去注册。

4、流程图