Spark history server fails to render compressed inprogress history file in some cases
文章目录
- 1 Overview
- 2 复盘
- 3 Fix
1 Overview
我们目前生产环境，包括 Spark History Server 用的都是 Spark 2.2.0 的 Fork 版本，所以社区有些基于 2.2.0 甚至之前版本的 Fix 是没有合并进来的。近期在看 Spark History Server 的时候，偶尔会发现无法访问。
2 复盘
检查 Spark History Server 的日志，发现如下错误信息。
Spark history server fails to render compressed inprogress history file in some cases，最后发现这是一个 Spark JIRA 上提到过的问题。
可惜的是，修复的代码是在 2.2.1 以后的版本了，但是我们的 History Server 是基于 Spark 2.2.0 的，显然代码里没有包含修复的逻辑。
3 Fix
解决的办法就是升级 Spark History Server 的版本。基于 Spark 2.3.0 重新构建一个镜像就可以了。
Spark history server fails to render compressed inprogress history file in some cases相关推荐
- Spark History Server和Event Log详解
前言 Spark如何持久化event SHS启动参数 SHS工作流程 DiskCache 读取eventlog 参考 前言 这篇文章会overall的介绍一下Spark History Server和 ...
- Spark入门 - History Server配置使用
问题描述 在Spark安装成功后,无论是通过spark-submit工具还是通过Intellij IDEA提交任务,只要在Spark应用程序运行期间,都可以通过WebUI控制台页面来查看具体的运行细节 ...
- Spark History Server配置及其启动
Spark history Server产生背景 以standalone运行模式为例,在运行Spark Application的时候,Spark会提供一个WEBUI列出应用程序的运行时信息:但该WEB ...
- Spark： history Server
1.Spark history Server产生背景 以standalone运行模式为例,在运行Spark Application的时候,Spark会提供一个WEBUI列出应用程序的运行时信息:但该W ...
- spark on yarn 配置history server
spark在yarn模式下配置history server 1.建立hdfs文件 – hadoop fs -mkdir /user/spark – hadoop fs -mkdir /user/spa ...
- spark history server内存不足服务自动挂掉
版本:Spark 1.5.2 built for Hadoop 2.4.0 今天spark的history server自己挂掉了,查看日志: 16/05/13 14:12:30 WARN DFSCl ...
- YARN, MR History Server和Spark History Server
转载来自:http://blog.csdn.net/cymvp/article/details/52090348 YARN, MR History Server和Spark History Serve ...
- Spark history server 启动报错：History server ui acls disabled； users with admin permissions
报错原因:hadoop没启动 在启动前,需要先启动 hadoop 和 zookeeper 报错信息: FsHistoryProvider:54 - History server ui acls dis ...
- spark job server原理
配置相关 settings.sh 功能:配置环境变量 APP_USER/APP_GROUP:作业提交用户和组 JMX_PORT:java jmx端口,通常在aws或者其他容器里打开 INSTALL_D ...
- linux session 设置时间设置,设置linux系统history相关变量，命令时间、保存history条数，多session共享history...
一.设置历史记录的时间 # vi /etc/profile //在文件末尾添加以下内容,然后保存退出重新登陆即可 HISTTIMEFORMAT='%F %T ' //注意有个空格,为了显示时日期与命令 ...
最新文章
- 第十三届计算机语言学大会,第十三届全国语音学学术会议（PCC 2018） 会议通知第3号...
- 每天拖地好麻烦？用这几招，地板每天光亮如新！
- 数学建模第六节2020.5.15-17补
- mysql创建的是拉丁_将MySQL数据库从拉丁转换为UTF-8
- linux批量远程多服务器FTP并下载文件的脚本
- 语言与golang语言运行速度_Golang语言情怀第13期 Go 语言设计模式 介绍
- C++学习之路 | PTA乙级—— 1082 射击比赛 (20 分)（精简）
- Spark基础学习笔记20：RDD持久化、存储级别与缓存
- javeWeb springMvc获取到的参数附带特殊符号，接收后被转义
- linux下配置SVN搭建 centos svn安装配置
- python模块datetime_Python模块学习 datetime介绍
- Zabbix 4.0升级5.0 ES 6.1升级7.0
- 其他电脑连接本地mysql数据库_在局域网内，如何让其他电脑连接我们自己的本地mysql数据库...
- matlab曲线导入cad,MATLAB导入CAD数据
- class文件拒绝访问
- 记录一次C#爬虫记录，获取必应图片
- 比特大陆IPO之旅即将终结
- 【flutter 起步走】Flutter 布局解决消消乐，谁说只会写写布局不能做游戏？
- Kafka多租户（配额）管理
- 如何提高百度指数，快速打造一个高权重网站