spark阶段和任务小结

spark一般有以下几种执行模式，standalone执行模式，通过资源管理器管理分片资源的执行模式(常用的有spark集群管理器，mesco，yarn资源管理器)，当执行一个spark的作业时一般都会把任务分成几个shuffle阶段，每个阶段分成几个任务的形式。
stage阶段的划分一般是宽转换(shuffle)操作，例如group by等操作，任务阶段一般是窄变换操作，例如map，filter等操作，这种窄转换操作spark一般会在一个内存操作中直接完成多个转换来提高性能.

yarn资源管理器在执行flink作业和spark作业时，原理是类似的：
1.对于flink来说： yarn的rm会分片一个application master节点总览job的各项工作，包括分配任务和汇总作业进度，分片作业之后application master会向rm申请资源来启动slave进程执行具体的任务.
2.对于spark来说：yarn的rm会分片一个驱动器节点进程总览job的各项工作，包括分配任务和汇总作业进度，分片作业之后驱动器进程会像rm申请资源来启动executor执行器进程执行具体的任务

spark阶段和任务小结相关推荐

php 学习阶段行个人小结
php-100学习之路的所有文章都是自己个人学习的简单记录,或者说个人随便感想,参考价值不是很高,也没有什么技术含量,所有看的人一掠而过即可,只是个人的一个纪念价值. 学习了一个月了,在这里给自己的学 ...
spark驱动器和执行器小结
spark驱动器是spark应用的核心,作用主要是以下几点: 1.把用户代码转换成物理执行计划,分解成stage阶段,每个stage下包含多个独立的task 2.驱动器节点会跟踪数据的在执行器节点中的 ...
spark线性svm支持向量机小结
spark的线性支持向量机只支持二分类,其目的是要寻找这样一个超平面:f(x)=wx+b,使得满足以下约束: 在该超平面的两侧的样本的距离尽可能的大,也就是(wx+b=1)和(wx+b=-1)的距离尽 ...
前端如何高效写页面 | 实战小结阶段一
写在前面: 本文作为本人学习总结之用,同时分享给大家~ 个人前端博客网站:zhangqiang.hk.cn 欢迎加入博主的前端学习qq交流群::706947563,专注前端开发,共同学习进步! 最近公 ...
每周一书《Spark与Hadoop大数据分析》分享！
Spark与Hadoop大数据分析比较系统地讲解了利用Hadoop和Spark及其生态系统里的一系列工具进行大数据分析的方法,既涵盖ApacheSpark和Hadoop的基础知识,又深入探讨所有Spa ...
MySQL 为什么需要两阶段提交？
文章目录 1. 什么是两阶段提交 1.1 binlog 与 redolog binlog redo log 1.2 两阶段提交 2. 为什么需要两阶段提交 3. 小结为什么要两阶段提交?一阶段提交不 ...
何新生的英语史(七)—— 平淡期，重文化风俗俚语阶段
平淡期,重文化风俗俚语阶段在之前小结了,在学习英语的第六年也即是高三才意识到,哦,原来英语是像汉语, 是像自己的江西客家话一样的一门语言,开始从听.跟读.说入门,才勉勉强强的从极其讨厌英语的状况中 ...
3万字细品数据倾斜(建议收藏)
一.前言 1.1 绪论数据倾斜是大数据领域绕不开的拦路虎,当你所需处理的数据量到达了上亿甚至是千亿条的时候,数据倾斜将是横在你面前一道巨大的坎. 迈的过去,将会海阔天空!迈不过去,就要做好准备:很可 ...
技术选型：为什么批处理我们却选择了Flink
最近接手了一个改造多平台日志服务的需求,经过梳理,我认为之前服务在设计上存在缺陷.经过一段时间的技术方案调研,最终我们决定选择使用 Flink 重构该服务. 目前重构后的服务已成功经受了国庆节流量洪峰 ...

spark阶段和任务小结

spark阶段和任务小结相关推荐

最新文章

热门文章