spark学习-34-Spark的BroadcastManager广播管理器

1.Broadcast就是将数据从一个节点发送到其他的节点上。例如Driver上有一张表，而Executor中的每个并行执行的Task（100万个）都要查询这张表，那我们通过Broadcast的方式就只需要往每个Executor把这张表发送一次就行了。Executor中的每个运行的Task查询这张唯一的表，而不是每次执行的时候都从Driver获得这张表！

2.这就好像ServletContext的具体作用，只是Broadcast是分布式的共享数据。默认情况下，只要程序在运行Broadcast变量就会存在，因为Broadcast在底层是通过BlockManager管理的！但是你可以手动指定或者配置具体周期来销毁Broadcast变量！

3.Broadcast一般用于处理共享配置文件，通用的Dataset，常用的数据结构等等。但是不适合存放太大的数据在Broadcast中，Broadcast不会内存溢出，因为其数据的保存的StorageLevel是MEMORY_AND_DISK的方式。虽然如此，我们也不可以放入太大的数据在Broadcast中，因为网络IO和可能的单点压力会非常大！

4.广播Broadcast变量是只读变量，保持数据一致性。

5.spark2.0.x以前貌似有HttpBroadcast（HttpBroadcastFactory）和Torre

spark学习-34-Spark的BroadcastManager广播管理器相关推荐

Spark学习之Spark调优与调试（7）
Spark学习之Spark调优与调试(7) 1. 对Spark进行调优与调试通常需要修改Spark应用运行时配置的选项. 当创建一个SparkContext时就会创建一个SparkConf实例. 2. ...
Spark学习之Spark Streaming（9）
Spark学习之Spark Streaming(9) 1. Spark Streaming允许用户使用一套和批处理非常接近的API来编写流式计算应用,这就可以大量重用批处理应用的技术甚至代码. 2. ...
Spark学习之Spark初识
一.什么是Spark Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎.Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Had ...
Spark学习之Spark Streaming
一.简介许多应用需要即时处理收到的数据,例如用来实时追踪页面访问统计的应用.训练机器学习模型的应用,还有自动检测异常的应用.Spark Streaming 是 Spark 为这些应用而设计的模型.它 ...
ASP.NET Core on K8S深入学习（10）K8S包管理器Helm-Part 2
本篇已加入<.NET Core on K8S学习实践系列文章索引>,可以点击查看更多容器化技术相关系列文章.上一篇 Part 1 中介绍了Helm的基本概念与基本使用,这一篇我们来自定义一 ...
ASP.NET Core on K8S深入学习（10）K8S包管理器Helm-Part 1
本篇已加入<.NET Core on K8S学习实践系列文章索引>,可以点击查看更多容器化技术相关系列文章. 关于Helm Why Helm? 虽然K8S能够很好地组织和编排容器,但是缺少 ...
JMeter学习笔记--使用HTTP信息头管理器
使用HTTP信息头管理,可以帮助测试人员设定JMeter发送的HTTP请求头所包含的信息.HTTP信息头中包含有"User-Agent"."Pragma".&q ...
Spark学习之Spark RDD算子
个人主页zicesun.com 这里,从源码的角度总结一下Spark RDD算子的用法. 单值型Transformation算子 map /*** Return a new RDD by applyi ...
spark学习-35-Spark的Map任务输出跟踪器MapOutputTracker
##1.在sparkEnv的初始化中有这样一段代码来初始化Map任务输出跟踪器MapOutputTracker mapOutputTracker用于跟踪map阶段任务的输出状态,此状态便于reduce ...

spark学习-34-Spark的BroadcastManager广播管理器

spark学习-34-Spark的BroadcastManager广播管理器相关推荐

最新文章

热门文章