spark的UI界面解析

2024-06-04 08:27:19

一：spark的UI界面

二：spark的UI界面解析

1 代表job页面，在里面可以看到当前应用分析出来的所有任务，以及所有的excutors中action的执行时间。
页可以分为两部分，一部分是event timeline，另一部分是进行中和完成的job任务。
第一部分event timeline展开后，可以看到executor创建的时间点，以及某个action触发的算子任务，执行的时间。通过这个时间图，可以快速的发现应用的执行瓶颈，触发了多少个action。
第二部分的图表，显示了触发action的job名字，它通常是某个count,collect等操作

2 代表stage页面，在里面可以看到应用的所有stage，stage是按照宽依赖来区分的，因此粒度上要比job更细一些
作血统图，标记了每个rdd从创建到应用的一个流程图，也是我们进行分析和调优很重要的内容

3 代表storage页面，我们所做的cache persist等操作，都会在这里看到，可以看出来应用目前使用了多少缓存

4 代表environment页面，里面展示了当前spark所依赖的环境，比如jdk,lib等等

5 代表executors页面，这里可以看到执行者申请使用的内存以及shuffle中input和output等数据
这个页面比较常用了，一方面通过它可以看出来每个excutor是否发生了数据倾斜，另一方面可以具体分析目前的应用是否产生了大量的shuffle，是否可以通过数据的本地性或者减小数据的传输来减少shuffle的数据量。

6 这是应用的名字，代码中如果使用setAppName，就会显示在这里

7 是job的主页面。

三：图片

spark的UI界面解析相关推荐

spark的UI界面及调优
[看图说话] 基于Spark UI性能优化与调试--初级篇 Spark有几种部署的模式,单机版.集群版等等,平时单机版在数据量不大的时候可以跟传统的java程序一样进行断电调试.但是在集群上调试就比较 ...
Spark Streaming在Spark Web UI上的显示办法
下面开始注意: 不要改变这个实验中各个步骤的顺序!!! 启动spark集群和HDFS集群(搞不定的请自行百度) 然后 ① $ nc -lk 9999 test test home home scho ...
python视频解析UI界面
目录前言: 一.准备工作二.程序三.总结前言: 利用python的pyside2创建的一个视频解析的UI界面,原理就是利用视频接口(网上找的接口),可以观看VIP电视剧,电影,动漫等. 一.准 ...
Spark UI界面原理
当Spark程序在运行时,会提供一个Web页面查看Application运行状态信息.是否开启UI界面由参数spark.ui.enabled(默认为true)来确定.下面列出Spark UI一些相关配 ...
Android Studio入门级UI界面设计（图文＋解析）
本文以图片加上解析,希望小白可以理解通透下面配上本次试验UI界面 - 1.首先设置成线性布局,添加orientation属性,设置成垂直 android:orientation="vert ...
40. 实战：基于tkinter实现用户UI界面——对34小节的VIP音乐解析系统的全面升级（附源码）
目录前言目的思路代码实现 1. 首先设计主页UI界面 2. 封装核心解析歌曲代码 3. 下载音乐到本地 4. 将界面居中,禁止修改窗口大小,等待关闭/退出指令完整源码运行效果使用过程菜 ...
html div初始隐藏点击可见_3种CSS3移动手机隐藏菜单UI界面代码解析/附源码下载...
这是一款效果非常酷的jQuery和CSS3移动手机隐藏菜单UI界面设计.这个UI设计共有三种不同的打开隐藏菜单的效果,分别为滑动显示,Material Design风格效果和展开式效果. 使用方法 H ...
Windows Phone灵魂诠释:Metro UI界面完全解析
Metro在微软的内部开发名称为" typography-based design language"(基于排版的设计语言).它最早出现在微软电子百科全书95,此后微软又有许多知名 ...
Metro UI 界面完全解析 (转载)
Metro在微软的内部开发名称为" typography-based design language"(基于排版的设计语言).它最早出现在微软电子百科全书95,此后微软又有许多知名 ...

最新文章

热门文章