1、Spark内核架构，其实就是第一种模式，standalone模式，基于Spark自己的Master-Worker集群。2、第二种，是基于YARN的yarn-cluster模式。3、第三种，是基于YARN的yarn-client模式。4、如果，你要切换到第二种和第三种模式，很简单，将我们之前用于提交spark应用程序的spark-submit脚本，加上--master参数，设置为yarn-cluster，或yarn-client，即可。如果你没设置，那么，就是standalone模式。

流程详细分析：spark-submit提交(yarn-cluster)，发送请求到ResourceManager，请求启动ApplicationMaster，ResourceManager接收到请求后，会在某个NodeManager上分配container，启动ApplicationMaster
ResourceManager分配Container，在某个NodeManager上，启动ApplicationMasterApplicationMaster（相当于是Driver）ApplicationMaster找ResourceManager，请求container，启动ExecutorResourceManager分配一批container，用于启动Executor
ApplicationMaster所在的NodeManager上，可能会启动ExecutorApplicationMaster连接其他NodeManager，来启动Executor，这里的NameNode相当于Wroker
Executor启动后，向ApplicationMaster反向注册

流程详细分析：
spark-submit提交(yarn-client)，会在本地启动Driver进程
发送给ResourceManager，请求启动ApplicationMasterResourceManager分配Container，在某个NodeManager上启动ApplicationMaster，但这里的ApplicationMaster，其实只是一个ExecutorLauncherExecutorLauncher（ApplicationMaster）申请Container，启动executorResourceManager分配一批Container
，ExecutorLauncher（ApplicationMaster）所在的NodeManager上，可能会启动ExecutorExecutorLauncher（ApplicationMaster）连接其他NodeManager，用Container资源，启动Executor
Executor反向注册到本地的Driver上

1、yarn-client模式用于测试，因为driver运行在本地客户端，负责调度application，会与yarn集群产生超大量的网络通信，从而导致网卡流量激增，
可能会被公司的运维给警告，好处在于，直接执行时，本地可以看到所有log，方便调试2、
yarn-cluster，用于生产环境，因为driver运行在NodeManager，没有网卡流量激增的问题，缺点在于，调试不方便，本地用spark-submit提交后，看不到log，
只能通过yarn application -logs application_id这种命令来查看，很麻烦

##修改spark-env.sh
[root@spark1 ~]# vim /usr/local/spark/conf/spark-env.sh        #写入hadoop的home
export HADOOP_HOME=/usr/local/hadoop###脚本文件yarn-cluster：/opt/module/spark/bin/spark-submit \--class com.zj.spark.core.WordCountCluster \--master yarn-cluster \--num-executors 3 \--driver-memory 100m \--executor-memory 100m \--executor-cores 3 \
/opt/module/datas/sparkstudy/java/mysparkstudy-1.0-SNAPSHOT-jar-with-dependencies.jar \yarn-client：
/opt/module/spark/bin/spark-submit \--class com.zj.spark.core.WordCountCluster \--master yarn-client \--num-executors 3 \--driver-memory 100m \--executor-memory 100m \--executor-cores 3 \/opt/module/datas/sparkstudy/java/mysparkstudy-1.0-SNAPSHOT-jar-with-dependencies.jar \