spark学习-35-Spark的Map任务输出跟踪器MapOutputTracker
##1。在sparkEnv的初始化中有这样一段代码来初始化Map任务输出跟踪器MapOutputTracker
mapOutputTracker用于跟踪map阶段任务的输出状态,此状态便于reduce阶段任务获取地址以及中间输出结果。每个map任务或者 reduce任务都会有唯一的标识。分别为mapId和reduceId.每个reduce任务的输入可能是多个map任务的输出,reduce会到各个map任务的所有节点上拉去Block,这一过程交shuffle,每批shuffle过程都有唯一的表示shuffleId。
val mapOutputTracker = if (isDriver) {new MapOutputTrackerMaster(conf, broadcastManager, isLocal)} else {new MapOutputTrackerWorker(conf)}
##2。在MapOutputTracker.scala文件中有这么多类
private[spark] sealed trait MapOutputTrackerMessageprivate[spark] case class GetMapOutputStatuses(shuffleId: Int)extends MapOutputTrackerMessageprivate[spark] case object StopMapOutputTracker extends MapOutp
spark学习-35-Spark的Map任务输出跟踪器MapOutputTracker相关推荐
- Spark学习之Spark Streaming(9)
Spark学习之Spark Streaming(9) 1. Spark Streaming允许用户使用一套和批处理非常接近的API来编写流式计算应用,这就可以大量重用批处理应用的技术甚至代码. 2. ...
- Spark学习之Spark调优与调试(7)
Spark学习之Spark调优与调试(7) 1. 对Spark进行调优与调试通常需要修改Spark应用运行时配置的选项. 当创建一个SparkContext时就会创建一个SparkConf实例. 2. ...
- Spark学习之Spark Streaming
一.简介 许多应用需要即时处理收到的数据,例如用来实时追踪页面访问统计的应用.训练机器学习模型的应用,还有自动检测异常的应用.Spark Streaming 是 Spark 为这些应用而设计的模型.它 ...
- Spark学习之Spark初识
一.什么是Spark Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎.Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Had ...
- Spark学习之Spark RDD算子
个人主页zicesun.com 这里,从源码的角度总结一下Spark RDD算子的用法. 单值型Transformation算子 map /*** Return a new RDD by applyi ...
- Spark学习之spark集群搭建
(推广一下自己的个人主页 zicesun.com) 本文讲介绍如何搭建spark集群. 搭建spark集群需要进行一下几件事情: 集群配置ssh无秘登录 java jdk1.8 scala-2.11. ...
- Spark学习:spark读取HBase数据报异常java.io.NotSerializableException
1.准备工作,安装好HABSE之后,执行Hbase shell create '表名称', '列名称1','列名称2','列名称N' create '表名称','列族名称' 在hbase中列是可以动态 ...
- Spark学习笔记 --- Spark Streaming 与 Stom 比较
对比点 Storm
- spark学习-32-SparkEnv的构造步骤
1.看代码 /*** Helper method to create a SparkEnv for a driver or an executor.* 辅助方法来创建一个驱动程序或执行器sparken ...
最新文章
- CentOS下SVN服务的启动与关闭
- delphi 获取4位的年份_原来华为手机拨号键盘这么厉害!除了能打电话,还有4个隐藏功能...
- Mybatis用法小结
- 密码技术--RSA数字签名及Go语言应用
- Final Cut Pro模版网站
- java 很垃圾_JAVA吧真的很垃圾!!!
- netty实现mysql协议_基于Netty模拟解析Binlog
- execCommand 在火狐下正常使用方法
- [蓝桥杯][算法训练VIP]旅行家的预算(单调栈+贪心)
- Spark初识-Spark基本架构概览使用
- C++使用socket实现进程通信
- @程序员,区块链开发平台避坑指南!
- [51单片机] SPI nRF24L01无线 [可以放在2个单片机里实现通信]
- JavaScript书籍的免费32本-收集分享
- oracle10g debian,Debian5下oracle10g安装时DISPLAY的设置
- VS2019离线安装包制作
- epson r1900 清零软件_Epson爱普生me1100清零软件 me1100打印机废墨清零软件
- Jquery最常见的ajax写法
- es 按条件查询数据总条数
- JavaScript:事件:冒泡和捕获机制