Spark History Server 没有生效

Spark 提供了 Web UI 来对 Spark 应用进行监控。

每个 SparkContext 会启动一个 web UI，默认是在 4040 端口。它显示了应用相关的有用的信息，包括：

一系列的 scheduler stage 和 task
RDD 大小和内存占用的概要
环境信息
正在运行的 executor 的一些信息

只要打开 http://:4040 就可以看到该页面。如果有多个 SparkContext 运行在同一个主机上，将会从端口 4040，4041， 4042 依次占用。

不过默认情况下，只在有应用运行期间这些信息才会存在。应用执行完毕，就无法查看了。如果想要在应用执行完毕后还能够查看 web UI，需要在启动应用前设置 spark.eventLog.enabled 为 true。这个选项会将 web UI 的信息进行持久化。

将以下信息写入到 etc/spark-defaults.conf ：

spark.eventLog.enabled true
spark.eventLog.dir     file:/home/hadoop/data/spark/spark-logs
spark.history.fs.logDirectory file:/home/hadoop/data/spark/spark-logs

需要注意的是：

spark.eventLog.dir 与 spark.history.fs.logDirectory 两个选项的路径必须相同，否则无效。
设置的路径，比如例中的 /home/hadoop/data/spark/spark-logs ，无论是本地目录，还是 HDFS ，都需要先行创建好在启动应用，如果启动 Spark 时该目录不存在，会报错。

比如在 HDFS 中存储，hdfs dfs -mkdir /eventLog 在 HDFS 中创建目录，然后设置 spark-defaults.conf:

spark.eventLog.enabled true
spark.eventLog.dir     hdfs://Master:9000/eventLog
spark.history.fs.logDirectory hdfs://Master:9000/eventLog

参考:

Monitoring and Instrumentation
https://hadoophard.wordpress.com/2016/09/07/spark-history-server-not-working/

Spark History Server 没有生效相关推荐

Spark History Server配置及其启动
Spark history Server产生背景以standalone运行模式为例,在运行Spark Application的时候,Spark会提供一个WEBUI列出应用程序的运行时信息:但该WEB ...
YARN, MR History Server和Spark History Server
转载来自:http://blog.csdn.net/cymvp/article/details/52090348 YARN, MR History Server和Spark History Serve ...
Spark History Server和Event Log详解
前言 Spark如何持久化event SHS启动参数 SHS工作流程 DiskCache 读取eventlog 参考前言这篇文章会overall的介绍一下Spark History Server和 ...
spark history server内存不足服务自动挂掉
版本:Spark 1.5.2 built for Hadoop 2.4.0 今天spark的history server自己挂掉了,查看日志: 16/05/13 14:12:30 WARN DFSCl ...
Spark history server 启动报错：History server ui acls disabled； users with admin permissions
报错原因:hadoop没启动在启动前,需要先启动 hadoop 和 zookeeper 报错信息: FsHistoryProvider:54 - History server ui acls dis ...
【网址收藏】Spark History Server配置及使用
https://blog.csdn.net/xiligey1/article/details/82457302
Spark入门 - History Server配置使用
问题描述在Spark安装成功后,无论是通过spark-submit工具还是通过Intellij IDEA提交任务,只要在Spark应用程序运行期间,都可以通过WebUI控制台页面来查看具体的运行细节 ...
Spark： history Server
1.Spark history Server产生背景以standalone运行模式为例,在运行Spark Application的时候,Spark会提供一个WEBUI列出应用程序的运行时信息:但该W ...
spark on yarn 配置history server
spark在yarn模式下配置history server 1.建立hdfs文件 – hadoop fs -mkdir /user/spark – hadoop fs -mkdir /user/spa ...
spark job server原理
配置相关 settings.sh 功能:配置环境变量 APP_USER/APP_GROUP:作业提交用户和组 JMX_PORT:java jmx端口,通常在aws或者其他容器里打开 INSTALL_D ...

Spark History Server 没有生效

Spark History Server 没有生效相关推荐

最新文章

热门文章