D35 Spark源代码（待补充）

一、spark任务的执行流程：

二、spark-1.3.1的源代码解读(spark-core_2.10:1.3.1)2.10是Scala的版本，1.3.1是Spark的版本

spark启动流程

sbin/start-all.sh -> start-master.sh -> start-slaves.sh

sbin/start-master.sh -> 先读取变量 sbin/spark-daemon.sh start org.apache.spark.deploy.master.Master 1 --ip $SPARK_MASTER_IP --port $SPARK_MASTER_PORT --webui-port $SPARK_MASTER_WEBUI_PORT

sbin/spark-daemon.sh -> /bin/spark-class $command "$@"

/bin/spark-class -> exec "$RUNNER" -cp "$CLASSPATH" $JAVA_OPTS "$@"

-------------------------------------------------------------------------------------------------------------

spark提交任务的过程

bin/spark-submit --class cn.itcast.spark.WordCount --master spark://node-1.itcast.cn:7077 --executor-memory 2g --total-executor-cores 4

exec "$SPARK_HOME"/bin/spark-class org.apache.spark.deploy.SparkSubmit -> exec "$RUNNER" -cp "$CLASSPATH" $JAVA_OPTS "$@"

重点来开一下spark-class org.apache.spark.deploy.SparkSubmit -》submit -》 doRunMain （args class cn.itcast.spark.WordCount ...）

--> Class.forName通过反射调用自定义类的main方法（只有一个进程）

三、sparkContext创建

val conf =new SparkConf().setAppName("WordCount")

//SparkContext的实例在SparkSubmit(Driver) 与Master建立链接，与RPC通信，DAGSchedule-->TaskScheduler

val sc =new SparkContext(conf)

四、SparkSubmit提交任务过程

待补充：一时半会儿理解不出来

D35 Spark源代码（待补充）相关推荐

spark最新源码下载并导入到开发环境下助推高质量代码(Scala IDEA for Eclipse和IntelliJ IDEA皆适用）（以spark2.2.0源码包为例）（图文详解）...
不多说,直接上干货! 前言其实啊,无论你是初学者还是具备了有一定spark编程经验,都需要对spark源码足够重视起来. 本人,肺腑之己见,想要成为大数据的大牛和顶尖专家,多结合源码和操练编程. ...
Spark入门实战系列--6.SparkSQL（中）--深入了解SparkSQL运行计划及调优
[注]该系列文章以及使用到安装包/测试数据可以在<倾情大奉送--Spark入门实战系列>获取 1.1 运行环境说明 1.1.1 硬软件环境 l 主机操作系统:Windows 64位, ...
Spark源码的编译过程详细解读(各版本)（博主推荐）
本文转自大数据躺过的坑博客园博客,原文链接:xxxxx,如需转载请自行联系原作者说在前面的话重新试多几次.编译过程中会出现下载某个包的时间太久,这是由于连接网站的过程中会出现假死,按ctrl+c,重 ...
Java查询spark中生成的文件,spark原代码生成方法
其实关于这个问题在Spark的官网www.igniterealtime.org上有很详尽的介绍,因此本文大部分内容是从英文文档引用而来的,其中还有一些个人的经验. Spark源代码:下载地址想了解更 ...
Spark入门实战系列--2.Spark编译与部署（下）--Spark编译安装
[注]该系列文章以及使用到安装包/测试数据可以在<倾情大奉送--Spark入门实战系列>获取 1.编译Spark Spark可以通过SBT和Maven两种方式进行编译,再通过make-d ...
Spark 部署及示例代码讲解
Spark 部署考虑到读者可能使用"ssh secure shell"这样的工具登陆 Linux,所以解释一下如何设置工具支持中文. 如何设置 ssh secure shell ...
如何使用intellij搭建spark开发环境（下）
本文转自http://www.beanmoon.com/2014/10/11/%E5%A6%82%E4%BD%95%E4%BD%BF%E7%94%A8intellij%E6%90%AD%E5%BB%B ...
spark学习-30-spark2.2.0的SparkContext初始化
Spark源代码该怎么看,那就是看SparkContext类,只要你看懂了SparkContext,就懂得了Spark,因为这个是Spark程序的入口,也是最基础的. 1 sparkContext的主 ...
Spark修炼之道——Spark学习路线、课程大纲
课程内容 Spark修炼之道(基础篇)--Linux基础(15讲).Akka分布式编程(8讲) Spark修炼之道(进阶篇)--Spark入门到精通(30讲) Spark修炼之道(实战篇)--Spar ...

D35 Spark源代码（待补充）

D35 Spark源代码（待补充）相关推荐

最新文章

热门文章