spark Drive 与Executor

Driver

开发人员自己写的程序中的main方法的进程

把我们编写的spark应用程序代码拆分为多个stage,每个stage执行一部分代码,并为每个stage创建一批tasks,然后把这些tasks分配到各个executor中执行.
跟踪Executor的运行状况
为执行器节点调度任务
UI展示应用运行状况

Executor

工作进程,运行task
作用

executor进程宿主在worker节点上，一个worker可以有多个executor。每个executor持有一个线程池，每个线程可以执行一个task，executor执行完task以后将结果返回给driver，每个executor执行的task都属于同一个应用。此外executor还有一个功能就是为应用程序中要求缓存的 RDD 提供内存式存储，RDD 是直接缓存在executor进程内的，因此任务可以在运行时充分利用缓存数据加速运算。

spark Drive 与Executor相关推荐

Spark的动态Executor机制
最近在Spark程序运行的过程中发现了一个问题,系统每天会运行很多任务,任务计算逻辑是一样的,但是每个任务拉去的数据量有多有少,不知道怎么给Spark程序设置多少资源比较合理.这时候Spark的动态E ...
spark executor内存分配_二十二、Spark之图解Executor端内存管理
Spark应用程序执行时,Spark集群会启动Driver和Executor两种JVM进程,Driver端负责创建SparkContext上下文(通往集群的唯一通道),构建DAG, 创建Task并进行 ...
spark yarn任务的executor 无故 timeout之原因分析
问题: 用 spark-submit --master yarn --deploy-mode cluster --driver-memory 2G --num-executors 6 --execu ...
spark源码（四）executor在worker上的创建过程，executor本质是什么，是线程池吗？
上篇文章我们讲解了master调度driver和executor(application)的过程,但是对于executor在worker上的创建过程没有讲,这里我们接着上篇文章继续讲. 首先我们从wo ...
Spark组件和术语定义
Application:Spark Application的概念和Hadoop MapReduce中的类似,指的是用户编写的Spark应用程序,包含了一个Driver 功能的代码和分布在集群中多个节点 ...
spark实战问题（一）：is running beyond physical memory limits. Current usage: xx GB of xx GB physical memory
一:背景 Spark 任务出现了container内存负载出现OOM 二:问题 Application application_xxx_xxxx failed 2 times due to AM Co ...
第12期：Spark零基础学习路线
大家好,我是你们的老朋友老王随聊,今天和大家讨论的话题--Spark零基础应该怎么学? 通过这段时间和群里同学们交流,发现很多大学生甚至职场小白对Spark学习路线不是很清晰,所以我花了一些时间给大家 ...
spark 算子例子_10年大数据架构师，用一文带你玩转Spark计算框架，你能读懂吗？...
首先明确一点:学计算框架主要就是学2部分: 1.资源调度 2.任务调度写一个spark程序包含加载配置文件,创建上下文,创建RDD , 调用RDD的算子,用户在算子中自定义的函数 map端:狭窄的理 ...
【Spark深入学习 -14】Spark应用经验与程序调优
----本节内容------- 1.遗留问题解答 2.Spark调优初体验 2.1 利用WebUI分析程序瓶颈 2.2 设置合适的资源 2.3 调整任务的并发度 2.4 修改存储格式 3.Spark调 ...

spark Drive 与Executor

Driver

Executor

spark Drive 与Executor相关推荐

最新文章

热门文章