spark 查看 job history 日志
2019独角兽企业重金招聘Python工程师标准>>>
SPARK_HOME/conf 下:
spark-defaults.conf 增加如下内容
Spark.eventLog.enabled true
spark.eventLog.dir hdfs://master:8020/var/log/spark
spark.eventLog.compress true
spark-env.sh 增加如下内容
export SPARK_HISTORY_OPTS=”-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs:/master:8020/var/log/spark”
启动start-history-server.sh
SPARK_HOME/conf 下: 执行 ./start-history-server.sh
spark job history web: master:18080
这样在spark任务运行完成之后,就可以通过web页面查看日志了
history server相关的配置参数描述
spark.history.updateInterval
默认值:10
以秒为单位,更新日志相关信息的时间间隔spark.history.retainedApplications
默认值:50
在内存中保存Application历史记录的个数,如果超过这个值,旧的应用程序信息将被删除,当再次访问已被删除的应用信息时需要重新构建页面。spark.history.ui.port
默认值:18080
HistoryServer的web端口spark.history.kerberos.enabled
默认值:false
是否使用kerberos方式登录访问HistoryServer,对于持久层位于安全集群的HDFS上是有用的,如果设置为true,就要配置下面的两个属性spark.history.kerberos.principal
默认值:用于HistoryServer的kerberos主体名称spark.history.kerberos.keytab
用于HistoryServer的kerberos keytab文件位置spark.history.ui.acls.enable
默认值:false
授权用户查看应用程序信息的时候是否检查acl。如果启用,只有应用程序所有者和spark.ui.view.acls指定的用户可以查看应用程序信息;否则,不做任何检查spark.eventLog.enabled
默认值:false
是否记录Spark事件,用于应用程序在完成后重构webUIspark.eventLog.dir
默认值:file:///tmp/spark-events
保存日志相关信息的路径,可以是hdfs://开头的HDFS路径,也可以是file://开头的本地路径,都需要提前创建spark.eventLog.compress
默认值:false
是否压缩记录Spark事件,前提spark.eventLog.enabled为true,默认使用的是snappy
以spark.history开头的需要配置在spark-env.sh中的SPARK_HISTORY_OPTS,以spark.eventLog开头的配置在spark-defaults.conf
spark-defaults.conf 里面再加上spark.yarn.historyServer.address=http://xxx:18080
否则 YARN 中点击“History”按钮是不会跳转到history-server的,看“Environment”中没有spark.yarn.historyServer.address这个属性,都不能跳转,有了都能跳转。自己测试的结论。
转载于:https://my.oschina.net/sniperLi/blog/718367
spark 查看 job history 日志相关推荐
- Spark Steaming流式日志过滤与分析
Spark Steaming流式日志过滤与分析 这篇大概讲的是 spark steaming 监听 hdfs 的某个目录,当你在终端A使用 spark-submit 运行 Log2DB.py 文件后, ...
- 开源服务器日志实时查看系统,开源日志管理系统
开源日志管理系统 内容精选 换一换 鲲鹏工程师培训及认证为客户提供鲲鹏认证伙伴基于open系开源内核构建的商业软件培训,包含商业软件介绍.特性描述.操作使用.开发指导等内容. 来自:其他 MindX ...
- linux 查看 定时任务 crontab 日志记录
在Unix和类Unix的操作系统之中,crontab命令常用于设置周期性被执行的指令,也可以理解为设置定时任务. crontab中的定时任务有时候没有成功执行,什么原因呢?这时就需要去日志里去分析一下 ...
- docker logs 查看docker容器日志
命令格式 $ docker logs [OPTIONS] CONTAINEROptions:--details 显示更多的信息-f, --follow 跟踪实时日志--since string 显示自 ...
- adb查看app的日志
adb命令查看app的日志,网络的先连接,usb的插上就能用了. adb logcat *:E ->d:\\log.txt 在做app测试的时候,经常会遇到异常,此时如果开发没有异常保存,那么测 ...
- 二 查看oracle归档日志路径
一,检查是否开启归档,开启的方法 数据的存档模式的操作必须要在mount中进行,且数据库要处于非open状态.所有关闭存档模式前,我们需要查看当前数据库的状态,并且关闭数据库,启动到mount,才可进 ...
- windows server 2008 如何查看异常重启日志
下面蓝队网络为大家介绍下windows server 2008 如何查看异常重启日志 开始->管理工具->时间查看器 windows日志->系统 筛选当前日志 选择Kernel-Po ...
- BEA WebLogic Server 10 查看和配置日志
查看和配置日志 WebLogic Server 内的每个子系统都可生成日志消息来传达其状态.例如,当启动 WebLogic Server 实例时,安全子系统会输出消息以报告其初始化状态.为了记录其子系 ...
- 1git命令的使用,查看git仓库状态,添加文件到git跟踪,git提交,查看git分支,查看git仓库日志信息,切换git分支,解决git分支合并后出现冲突的问题
1新建一个存储git的文件夹,命令是: toto@toto-K45VD:~$ mkdir gitfolder 2初始化一个git仓库,命令是: toto@toto-K45VD:~$cd gitfold ...
- 系统安全运维 Server 2008 R2 事件查看器实现日志分析
<系统安全运维> Server 2008 R2 事件查看器实现日志分析 在 windows server 2008 R2 中,可以通过点击 "开始" -> &q ...
最新文章
- get传递中文产生乱码的解决方式汇总
- python查看文件有多少行_python如何判断文件有多少行
- 全球及中国烯丙基硫脲行业十四五需求产量及投资规模预测报告2022版
- puppet kick 功能实现
- atitit.it企业管理 项目管理 中的 授权机制 的来源 君权神授 的一定合理性
- 学成在线--4.CMS页面管理开发(新增页面)
- WebBrowser的Cookie操作
- MySQL审计特性调研
- hololens 仿真器安装更改位置_HoloLens开发指南(1)---安装工具
- 渗透测试实践(工具使用总结)
- 计算机无法安装应用,编程软件无法安装或报错
- Python实践:猜数字小程序Collatz序列
- dataman软件设置中文_S7200 SMART软件常见错误处理办法
- C++编程语言类对象的赋值与复制介绍(二)
- Python每日一记129列表换行
- 0ops CTF/0CTF writeup
- 树莓派Raspberry Pi Pico开发板踩坑:重置后设备管理器各种不识别,未知设备/unknown device
- package.json browserslist
- 第二关练习讲解(下部)
- 西门子PLC封装TCP通讯块和调试助手进行TCP仿真测试
热门文章
- android view 画文字,【Android自定义View】绘图之文字篇(三)
- linux修复硬盘文件命令,fsck命令_Linux fsck 命令用法详解:检查并且试图修复文件系统中的错误...
- 网件R8000路由器怎么云存储_给大姐姐换个“控制中心”——NETGEAR 网件 R7800 AC2600M 路由器 简晒_路由器...
- aix linux tcp连接数,修改windows、linux、aix等系统TCP/IP 参数
- linux搭建.net开发环境,ASP.NET Core知多少(5): Linux上搭建.Net Core开发环境
- 神经网络在关系抽取中的应用
- mysql 针对table的查看命令行
- Dagger2 知识梳理(3) 使用 dependencies 和 @SubComponent 完成依赖注入
- MySQL对分隔符的处理(一)
- AJAX技术开发Back按钮问题的应用程序