spark学习-63-源代码：schedulerBackend和taskScheduler的创建(1)-local

文章目录

2.根据master生成不同的SchedulerBackend
3.先看看local模式的
local模式下任务的提交与执行过程

测试代码

// 本地模式运行,便于测试val sparkConf = new SparkConf().setMaster("local").setAppName("aa")

##1. schedulerBackend和taskScheduler的创建是在创建SparkContext的时候
createTaskScheduler方法会根据master的配置陪陪部署模式，创建TaskSchedulerImpl，并且生成不同的SchedulerBackend。

/*** Create and start the scheduler  创建和启动任务调度* 创建SparkDeployScheduler和TaskSchedulerImpl** 这里才是真正创建* schedulerBackend* taskSche

spark学习-63-源代码：schedulerBackend和taskScheduler的创建(1)-local相关推荐

spark学习-64-源代码：schedulerBackend和taskScheduler的创建(2)-StandLone
紧接着上面的 // 类似这样的masterurl -> .master("spark://192.168.10.83:7077,spark://192.168.10.84:7077&q ...
spark学习-65-源代码：schedulerBackend和taskScheduler的创建(3)-local-cluster
0 本地测试 // 本地模式运行,便于测试val sparkConf = new SparkConf().setMaster("local-cluster[1, 1, 200]") ...
spark学习-66-源代码：schedulerBackend和taskScheduler的创建(4)-yarn
1.在下面代码中,指定了yarn模式运行,但是它是怎么调度的呢? PARK_HOME/bin/spark-submit --name "lcc_sparkSql_check" -- ...
spark学习-55-源代码：SparkSession的的创建
1.概述 1.首先我们在自己的程序中创建SparkSession spark= SparkSession.builder() .appName("lcc_java_habase_local& ...
Spark-Core源码学习记录 3 SparkContext、SchedulerBackend、TaskScheduler初始化及应用的注册流程
Spark-Core源码学习记录该系列作为Spark源码回顾学习的记录,旨在捋清Spark分发程序运行的机制和流程,对部分关键源码进行追踪,争取做到知其所以然,对枝节部分源码仅进行文字说明,不深入下 ...
一文搞懂Spark的Task调度器（TaskScheduler）
TaskScheduler的核心任务是提交TaskSet到集群运算并汇报结果. 为TaskSet创建和维护一个TaskSetManager, 并追踪任务的本地性及错误信息. 遇到Straggle任务会 ...
Spark学习总结以及问题
spark 翻译 Apache Spark is a fast and general-purpose cluster computing system. It provides high-level ...
spark学习笔记！！！！
文章目录 1.spark概述 2.spark运行架构 2.1.核心组件 2.2.核心概念 2.3.Spark提交流程 3.spark核心编程 3.1.RDD 3.1.1.什么是RDD 3.1.2.RD ...
Apache Spark学习：利用Eclipse构建Spark集成开发环境
介绍了如何使用Maven编译生成可直接运行在Hadoop 2.2.0上的Spark jar包,而本文则在此基础上, 介绍如何利用Eclipse构建Spark集成开发环境 . 不建议大家使用eclips ...

spark学习-63-源代码：schedulerBackend和taskScheduler的创建(1)-local

文章目录

spark学习-63-源代码：schedulerBackend和taskScheduler的创建(1)-local相关推荐

最新文章

热门文章