spark学习-50-Spark的stage的划分
1.概述
1。stage的划分主要依据窄依赖和宽依赖
窄依赖:
指父RDD的每一个分区最多被一个子RDD的分区所用,表现为一个父RDD的分区对应于一个子RDD的分区,和两个父RDD的分区对应于一个子RDD 的分区。图中,map/filter和union属于第一类,对输入进行协同划分(co-partitioned)的join属于第二类。
宽依赖:
指子RDD的分区依赖于父RDD的所有分区,这是因为shuffle类操作,如图中的groupByKey和未经协同划分的join。
2。Stage:
一个Job会被拆分为多组Task,每组任务被称为一个Stage就像Map Stage, Reduce Stage。Stage的划分在RDD的论文中有详细的介绍,简单的说是以shuffle和result这两种类型来划分。
在Spark中有两类task,
一类是shuffleMapTask
第一类task的输出是shuffle所需数据,
<
spark学习-50-Spark的stage的划分相关推荐
- Spark学习之Spark调优与调试(7)
Spark学习之Spark调优与调试(7) 1. 对Spark进行调优与调试通常需要修改Spark应用运行时配置的选项. 当创建一个SparkContext时就会创建一个SparkConf实例. 2. ...
- Spark学习之Spark Streaming(9)
Spark学习之Spark Streaming(9) 1. Spark Streaming允许用户使用一套和批处理非常接近的API来编写流式计算应用,这就可以大量重用批处理应用的技术甚至代码. 2. ...
- Spark学习之Spark初识
一.什么是Spark Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎.Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Had ...
- Spark学习之Spark Streaming
一.简介 许多应用需要即时处理收到的数据,例如用来实时追踪页面访问统计的应用.训练机器学习模型的应用,还有自动检测异常的应用.Spark Streaming 是 Spark 为这些应用而设计的模型.它 ...
- Spark学习之Spark RDD算子
个人主页zicesun.com 这里,从源码的角度总结一下Spark RDD算子的用法. 单值型Transformation算子 map /*** Return a new RDD by applyi ...
- Spark学习之spark集群搭建
(推广一下自己的个人主页 zicesun.com) 本文讲介绍如何搭建spark集群. 搭建spark集群需要进行一下几件事情: 集群配置ssh无秘登录 java jdk1.8 scala-2.11. ...
- Spark学习:spark读取HBase数据报异常java.io.NotSerializableException
1.准备工作,安装好HABSE之后,执行Hbase shell create '表名称', '列名称1','列名称2','列名称N' create '表名称','列族名称' 在hbase中列是可以动态 ...
- Spark学习笔记 --- Spark Streaming 与 Stom 比较
对比点 Storm
- spark 学习笔记
spark 学习笔记 spark介绍 Spark是是一种快速通用的集群计算系统,它的主要特点是能够在内存中进行计算.它包含了 spark 核心组件 spark-core,用于 SQL 和结构化处理数据 ...
- sparkcore分区_Spark学习:Spark源码和调优简介 Spark Core (二)
本文基于 Spark 2.4.4 版本的源码,试图分析其 Core 模块的部分实现原理,其中如有错误,请指正.为了简化论述,将部分细节放到了源码中作为注释,因此正文中是主要内容. 第一部分内容见: S ...
最新文章
- 收藏!最新大数据产业地图 十大生态金矿百大公司起底【附下载】
- Hadoop系列之六:分布式文件系统HDFS
- .Net Framework 各个版本新特性总结 (一)
- Leet Code OJ 8. String to Integer (atoi) [Difficulty: Easy]
- Flutter下拉刷新,上拉加载更多数据
- Lc695-岛屿的最大面积
- OpenCV-Python实战(14)——人脸检测详解(仅需6行代码学会4种人脸检测方法)
- 27.用webpack自搭react和vue框架
- java cryptojs_使用cryptojs的Java到JS和JS到Java的加密
- icon 做成html形式,CSS icon的各种做法
- Oracle使用技巧
- RSA之共模攻击与共享素数
- 【摸鱼神器】— 五子棋
- daterangepicker.js快捷筛选项的高亮显示问题修复
- PTA 520钻石争霸赛题解
- Android开发——蓝牙通信实现
- java new collection_Java中的集合Collection
- 千寻和省cors精度对比_为什么使用千寻cors服务?它有什么优势?
- 给定点坐标求多边形面积模板
- List的remove()方法详解
热门文章
- 张一鸣向盖茨基金会捐赠1000万美元 此前国内捐款1亿元用于抗疫
- 拼多多派发“五五购物节”消费券 万张消费券30分钟被抢购一空
- 小米10/10 Pro详细规格曝光:120Hz高刷新率屏+66W超级闪充
- 刘海变挖孔!小米高管:明年弹出式全面屏几乎没有了
- 微信二次“回应”iOS 13.2杀后台问题:已找到解决方案
- 努比亚红魔3开启预约:鲁大师跑分破47万
- 三星Galaxy S10系列外观配置爆料:多种颜色可选
- 输出一串小于100的随机数(rand())
- BFC(块级格式化上下文)【面试】
- Android热修复实现及原理