两种类型的Spark RDD task解析以及iterator解析 -- （视频笔记）

spark 每次提交一个作业，都会划分成不同的stage，除了最后一个stage（shuffle map task），前边的stage属于一种类型（result task）。

spark中的job，内部是由具体task构成，由于spark的调度模式根据宽依赖的模式划分成不同的stage，而我们从spark获取结果，是从最后一个stage中获取的。

stage内部有不同的任务，任务被提交到集群的计算节点，计算节点计算逻辑的时候，在excutor中

线程池中的线程中运行，线程会调用具体的run方法执行。

最后一个stage task类型为result类型，之前的所有的类型都为shuffle map task类型。

RDD objects：建DAG图，

DAGschedule：根据DAG图，将任务划分为不同的stage即task

TaskScheduler：cluster 获取task，并分配给worker和重试失败的任务。（shuffle map task和result task）

shuffle map task会将stage划分为不同的buckets。buckets决定这并行度。

worker：执行具体的task，两种taks都包含runtask 方法，方法中执行的iterator，iterator中包含cache判断。（可以在源码中查看到）

转载于:https://www.cnblogs.com/isenhome/p/5086130.html

两种类型的Spark RDD task解析以及iterator解析 -- （视频笔记）相关推荐

单片机开发的两种类型
** 单片机开发的两种类型 ** 最近学了一下ROS操作系统的工作原理和使用方法,想到了对于单片机来说的操作系统RTOS开发的一些概念,觉得有必要在细说一下单片机开发的两种方式. 首先,单片机开发一般 ...
（发现）问题才是推动创新的动力系列：两种类型硬币（均匀和非均匀）能否用第一次得正面朝上的概率推断“第一第二次依次获得正面反面情况”的概率？
两种类型硬币(均匀和非均匀)能否用第一次得正概率推断,第一第二次依次获得正反概率? 2种硬币均匀的 COIN1 正反概率(正0.5 反0.5) 非均匀的COIN2 (正0.9 反0.1) 问题 ...
设计一个处理两种类型地址的地址簿程序_编译器设计-符号表-中间代码生成
编译器设计-符号表-中间代码生成 Compiler Design - Symbol Table Compiler - Intermediate Code Generation 一．Compiler D ...
M.2 固态硬盘的两种类型：SATA 和 NVMe 的区别？
参考 https://www.kingston.com.cn/cn/solutions/pc-performance/two-types-m2-vs-ssd 前言在存储技术领域,当我们讨论 M.2 ...
用implicit和explicit打通两种类型
我们知道,在c#中,如果两个类型没有继承关系 ,是不能相互值赋的,但有两个关键字implicit和explicit,可以让 Date date = DateTime.Now这样的赋值成为可能. 注:c ...
java类型转换答案,在java中支持两种类型的类型转换,自动类型转换和强制类型转换。父类转化为子类需要强制转换。...
在java中支持两种类型的类型转换,自动类型转换和强制类型转换.父类转化为子类需要强制转换. 更多相关问题计算机病毒通过()传染扩散得极快,危害最大. 当一个现象的数量由小变大,另一个现象的数量相反 ...
计算机不属于发明保护客体,如何判断两种类型的计算机程序发明能否成为专利保护客体？...
如何判断两种类型的计算机程序发明能否成为专利保护客体?计算机程序类的发明可以根据处理和控制对象的不同划分为两种类型:控制和处理计算机外部对象的类型,以及控制和处理计算机内部对象的类型. 由于两者在技术 ...
matlab将txt数据分类,MATLAB读取txt文件，txt里面有字符串和数值两种类型
MATLAB读取txt文件,txt里面有字符串和数值两种类型 mip版关注:96 答案:4 悬赏:30 解决时间 2021-01-29 08:48 已解决 2021-01-28 15:04 M ...
手机号段对应地区编码_什么是编码器？了解两种类型的编码器
编码器提供反馈,以精确控制速度和位置.转子角位置是通过两个相差90度的方波和每转一圈发生的可选索引脉冲给出的.有多种技术可获得这些结果. 两种类型的编码器:光学和磁编码器光学编码器这种类型的编码器 ...

两种类型的Spark RDD task解析以及iterator解析 -- （视频笔记）

两种类型的Spark RDD task解析以及iterator解析 -- （视频笔记）相关推荐

最新文章

热门文章