SparkContext详述

SparkContext:
官方解释：SparkContext是spark功能的主要入口。其代表与spark集群的连接，能够用来在集群上创建RDD、累加器、广播变量。每个JVM里只能存在一个处于激活状态的SparkContext，在创建新的SparkContext之前必须调用stop()来关闭之前的SparkContext。

sparkContext在Spark应用程序的执行过程中起着主导作用，它负责与程序和spark集群进行交互，包括申请集群资源、创建RDD、accumulators及广播变量等。sparkContext与集群资源管理器、work节点交互图如下：

官网对图下面几点说明：（1）不同的Spark应用程序对应该不同的Executor，这些Executor在整个应用程序执行期间都存在并且Executor中可以采用多线程的方式执行Task。这样做的好处是，各个Spark应用程序的执行是相互隔离的。除Spark应用程序向外部存储系统写数据进行数据交互这种方式外，各Spark应用程序间无法进行数据共享。（2）Spark对于其使用的集群资源管理器没有感知能力，只要它能对Executor进行申请并通信即可。这意味着不管使用哪种资源管理器，其执行流程都是不变的。这样Spark可以不同的资源管理器进行交互。（3）Spark应用程序在整个执行过程中要与Executors进行来回通信。（4）Driver端负责Spark应用程序任务的调度，因此最好Driver应该靠近Worker节点。

再结合下一张图，SparkContext组成

通过这两张图我们不难发现，SparkContext在spark应用中起到了master的作用，掌控了所有Spark的生命活动，统筹全局，除了具体的任务在executor中执行，其他的任务调度、提交、监控、RDD管理等关键活动均由SparkContext主体来完成。

任何Spark程序都是SparkContext开始的，SparkContext的初始化需要一个SparkConf对象，SparkConf包含了Spark集群配置的各种参数。
初始化后，就可以使用SparkContext对象所包含的各种方法来创建和操作RDD和共享变量。
Scala：

val conf = new SparkConf().setMaster("master").setAppName("appName")val sc = new SparkContext(conf)
//或者
val sc = new SparkContext("master","appName")

通过创建SparkConf对象来配置应用，然后基于这个SparkConf创建一个SparkContext对象。驱动器程序通过SparkContext对象来访问Spark。
这个对象代表对计算集群的一个连接。一旦有了SparkContext，就可以用它来创建RDD。

只需传递两个参数：集群URL：告诉Spark如何连接到集群上。例子中使用local可以让Spark运行在单机单线程上而无需连接到集群。应用名：例子中使用My App。当连接到一个集群时，这个值可以帮助我们在集群管理器的用户界面中找到应用。

在Spark2.0之前， SparkContext 是所有 Spark 功能的结构，驱动器（driver）通过SparkContext 连接到集群（通过resource manager），因为在2.0之前， RDD就是Spark的基础。
如果需要建立SparkContext，则需要SparkConf，通过Conf来配置SparkContext的内容。

参考自：
https://www.cnblogs.com/chushiyaoyue/p/7468952.html
https://blog.csdn.net/weixin_43878293/article/details/90020221
https://www.cnblogs.com/Allen-rg/p/11364683.html

SparkContext详述相关推荐

SparkContext的初始化（伯篇）——执行环境与元数据清理器
<深入理解Spark:核心思想与源码分析>一书前言的内容请看链接<深入理解SPARK:核心思想与源码分析>一书正式出版上市 <深入理解Spark:核心思想与源码分析> ...
mysql数据库主从同步过程详述(三)
续mysql数据库主从同步过程详述(二) 在此说明下:在最后试验过程中,当查看从库状态的时候,IO_Running显示为no,从error_log中看到如下报错提示: 120523 0:55:31 ...
谷歌顶级量子科学家详述他为何从谷歌辞职
加州大学圣塔芭芭拉分校(UCSB)的教授John Martinis 作者 | Paul Smith-Goodson 译者 | 天道酬勤,责编 | Carol 约翰·马丁尼斯(John M ...
NandFlash详述【转】
NandFlash详述转自:http://wenku.baidu.com/view/04d9330bb52acfc789ebc92f.html?re=view 1. 硬件特性: [Flash的硬件实 ...
MariaDB/MySQL备份和恢复(三)：xtrabackup用法和原理详述
MariaDB/MySQL备份恢复系列: 备份和恢复(一):mysqldump工具用法详述备份和恢复(二):导入.导出表数据备份和恢复(三):xtrabackup用法和原理详述 xtrabacku ...
深入TextCNN（一）详述CNN及TextCNN原理 - 知乎 (zhihu.com)
深入TextCNN(一)详述CNN及TextCNN原理 - 知乎 (zhihu.com) https://zhuanlan.zhihu.com/p/77634533?from_voters_page= ...
sparkContext之一：sparkContext的初始化分析
Spark源码学习:sparkContext的初始化分析 spark可以运行在本地模式local下,可以运行在yarn和standalone模式下,但是本地程序是通过什么渠道和这些集群交互的呢?那就是 ...
详述@ResponseBody和@RequestBody注解的区别
2019独角兽企业重金招聘Python工程师标准>>> 1 前言在详述 @ResponseBody 和 @RequestBody 注解之前,咱先了解一下 @RequestMappi ...
Spark详解（七）：SparkContext源码分析以及整体作业提交流程
1. SparkContext源码分析在任何Spark程序中,必须要创建一个SparkContext,在SparkContext中,最主要的就是创建了TaskScheduler和DAGSchedul ...

SparkContext详述

SparkContext详述相关推荐

最新文章

热门文章