【Spark】Spark ListenerBus 和 MetricsSystem 体系分析

文章目录

Spark 事件体系的中枢是ListenerBus，由该类接受Event并且分发给各个Listener。MetricsSystem 则是一个为了衡量系统的各种指标的度量系统。Listener可以是MetricsSystem的信息来源之一。他们之间总体是一个互相补充的关系。

前言

监控是一个大系统完成后最重要的一部分。Spark整个系统运行情况是由ListenerBus以及MetricsSystem 来完成的。这篇文章重点分析他们之间的工作机制以及如何通过这两个系统完成更多的指标收集。

ListenerBus 是如何工作的

Spark的事件体系是如何工作的呢？我们先简要描述下，让大家有个大概的了解。

首先，大部分类都会引入一个对象叫listenerBus，这个类具体是什么得看实现，但是都一定继承自org.apache.spark.util.ListenerBus.

假设我们要提交一个任务集。这个动作可能会很多人关心，我就是使用listenerBus把Event发出去，类似下面的第二行代码。

  def submitJobSet

【Spark】Spark ListenerBus 和 MetricsSystem 体系分析相关推荐

Spark ListenerBus 和 MetricsSystem 体系分析
转载自:https://yq.aliyun.com/articles/60196 摘要: Spark 事件体系的中枢是ListenerBus,由该类接受Event并且分发给各个Listener.Met ...
《深入理解Spark:核心思想与源码分析》——3.10节创建和启动ExecutorAllocationManager...
本节书摘来自华章社区<深入理解Spark:核心思想与源码分析>一书中的第3章,第3.10节创建和启动ExecutorAllocationManager,作者耿嘉安,更多章节内容可以访问云栖 ...
《深入理解Spark:核心思想与源码分析》——1.2节Spark初体验
本节书摘来自华章社区<深入理解Spark:核心思想与源码分析>一书中的第1章,第1.2节Spark初体验,作者耿嘉安,更多章节内容可以访问云栖社区"华章社区"公众号查看 ...
《深入理解Spark:核心思想与源码分析》——第1章环境准备
本节书摘来自华章社区<深入理解Spark:核心思想与源码分析>一书中的第1章环境准备,作者耿嘉安,更多章节内容可以访问云栖社区"华章社区"公众号查看第1章环境准 ...
spark 写tidb_优秀的数据工程师，怎么用Spark在TiDB上做OLAP分析
TiDB 是一款定位于在线事务处理/在线分析处理的融合型数据库产品,实现了一键水平伸缩,强一致性的多副本数据安全,分布式事务,实时 OLAP 等重要特性. TiSpark 是 PingCAP 为解决用 ...
spark项目实战：电商分析平台之各个范围Session步长、访问时长占比统计（需求一）
spark项目实战:电商分析平台之各个范围Session步长.访问时长占比统计(需求一) 项目基本信息,架构,需要一览各个范围Session步长.访问时长占比统计概述各个范围Session步长.访 ...
spark项目实战：电商分析平台之项目概述
spark项目实战:电商分析平台之项目概述目录项目概述程序架构分析需求解析初始代码和完成代码存放在github上面 1. 项目概述在访问电商网站时,我们的一些访问行为会产生相应的埋点日志( ...
spark提交应用的全流程分析
spark提交应用的全流程分析 @(SPARK)[spark] 本文分析一下spark的应用通过spark-submit后,如何提交到集群中并开始运行. 先介绍一下spark从提交到运行的全流程,下面 ...
超详攻略！Databricks 数据洞察 - 企业级全托管 Spark 大数据分析平台及案例分析
简介: 5分钟读懂 Databricks 数据洞察 ~ 更多详细信息可登录 Databricks 数据洞察产品链接:https://www.aliyun.com/product/bigdata/sp ...

【Spark】Spark ListenerBus 和 MetricsSystem 体系分析

文章目录

前言

ListenerBus 是如何工作的

【Spark】Spark ListenerBus 和 MetricsSystem 体系分析相关推荐

最新文章

热门文章