大剑无锋之Spark中的Driver是什么？【面试推荐】

Spark中的Driver即运行Application的Main()函数并且创建SparkContext，其中创建SparkContext的目的是为了准备Spark应用程序的运行环境。在Spark中由SparkContext负责和ClusterManager通信，进行资源的申请、任务的分配和监控等；当Executor部分运行完毕后，Driver负责将SparkContext关闭。通常SparkContext代表Driver，如下图所示:

【补充】Cluster Manager：资源管理器，指的是在集群上获取资源的外部服务

大剑无锋之Spark中的Driver是什么？【面试推荐】相关推荐

大剑无锋之内存泄漏是什么？【面试推荐】
百度词条给出的解释: 内存泄漏(Memory Leak)是指程序中己动态分配的堆内存由于某种原因程序未释放或无法释放,造成系统内存的浪费,导致程序运行速度减慢甚至系统崩溃等严重后果. 理解点说☞: 一 ...
大剑无锋之TCP和HTTP的区别【面试推荐】
1.TCP连接手机能够使用联网功能是因为手机底层实现了TCP/IP协议,可以使手机终端通过无线网络建立TCP连接.TCP协议可以对上层网络提供接口,使上层网络数据的传输建立在"无差别&qu ...
大剑无锋之delete、drop、truncate【面试推荐】
一.delete 1.delete是DML,执行delete操作时,每次从表中删除一行,并且同时将该行的的删除操作记录在redo和undo表空间中以便进行回滚(rollback)和重做操作,但要注意表 ...
大剑无锋之Kafka的Patition的作用【面试推荐】
首先介绍patition的概念: Partition:为了实现扩展性,一个非常大的topic可以分布到多个broker (即服务器)上,一个topic可以分为多个partition,每个partiti ...
Spark中的driver和Executor
Apache Spark使用最先进的DAG调度程序,查询优化器和物理执行引擎,实现批处理和流数据的高性能.这篇文章主要是对driver和executor功能上进行一个分析. 驱动器节点(Driver) ...
大剑无锋之ArrayList中使用增强for循环能删除元素吗？【面试推荐】
好久没写java代码,前几天面试被问到不少java的问题,其中一个接下来要说的. 先看几段代码. 第一段(集合中两个元素,判断条件是第一个元素) ArrayList<String> lis ...
大剑无锋之mysql中的行转列如何写？【面试推荐】
乍一看,这样的题写过的. 像 SparkSQL读取hive中的数据,行转列的两种方式[行转列专用函数,UDAF]https://blog.csdn.net/qq_41946557/article/de ...
大剑无锋之你了解HTTPS吗？那么它为什么安全？【面试推荐】
在面试中,我们经常遇到像HTTP方面的知识.比如: 大剑无锋之HTTP连接https://blog.csdn.net/qq_41946557/article/details/101155935 大剑无 ...
Spark中Task，Partition，RDD、节点数、Executor数、core数目（线程池）、mem数
Spark中Task,Partition,RDD.节点数.Executor数.core数目的关系和Application,Driver,Job,Task,Stage理解 from:https://bl ...

大剑无锋之Spark中的Driver是什么？【面试推荐】

大剑无锋之Spark中的Driver是什么？【面试推荐】相关推荐

最新文章

热门文章