0017-Spark的HistoryServer不能查看到所有历史作业分析

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。

1.问题描述

Spark的HistoryServer能正常查看之前的历史作业日志，但新提交的作业在执行完成后未能在HistoryServer页面查看。

2.问题复现

1.分别使用root和ec2-user用户执行作业

2.通过sparkHistory Server可以正常查看到所有历史作业

3.将/user/spark/applicationHistory目录的所属组修改为supergroup，再次执行作业

sudo –u hdfs hadoop dfs –chown spark:supergroup /user/spark/applicationHistroy

作业执行完成

HDFS上正常记录了spark作业日志，但作业所属group为supergroup

sparkHistoryServer报异常，没有权限访问历史job目录

4.在History Server未查看到刚执行完成的007作业

3.问题原因

由于/user/spark/applicationHistory目录的所属组为supergroup，导致所有用户作业的目录均为supergroup组，之前能正常查看的历史作业由于目录的所属组任为spark。

4.解决方法

将/user/spark/applicationHistory目录及该目录下的子目录所属组修改为spark

sudo –u hdfs hadoop dfs –chgrp –R spark /user/spark/applicationHistory

修改后所有历史作业均可正常查看

醉酒鞭名马，少年多浮夸！岭南浣溪沙，呕吐酒肆下！挚友不肯放，数据玩的花！
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。

转载于:https://blog.51cto.com/14049791/2318915

0017-Spark的HistoryServer不能查看到所有历史作业分析相关推荐

《spark技术应用》课程期末考试大作业报告,使用eclipse完成求top值、文件排序、二次排序三个程序的个性化开发。
目录一.选题的目的及要求... 4 二.设计思路... 4 三.主要内容及关键技术.. 5 四.制作步骤... 5 1．准备工作... 5 1.1在VMware中安装一台Ubuntu64位系 ...
jstack(查看线程)、jmap(查看内存)和jstat(性能分析)命令
转载自 jstack(查看线程).jmap(查看内存)和jstat(性能分析)命令 1．Jstack 1.1 jstack能得到运行java程序的java stack和native stack ...
StreamDM：基于Spark Streaming、支持在线学习的流式分析算法引擎
StreamDM:基于Spark Streaming.支持在线学习的流式分析算法引擎 streamDM:Data Mining for Spark Streaming,华为诺亚方舟实验室开源了业界第一 ...
mysql 闪回查询 sql_利用闪回查看Oracle表历史时刻数据
利用闪回查看Oracle表历史时刻数据 1.查看表历史时刻数据 select * from tab_test AS OF TIMESTAMP to_timestamp('20140917 10:00: ...
计算机管理任务类别103,win7系统如何查看电脑的历史开关机时间｜win7系统怎么查询电脑开机后运行多长时间...
win7系统如何查看电脑的历史开关机时间为了避免自己的电脑被他人盗用,可以通过电脑自带的程序软件查看电脑的历史开关机时间,以此来判断是否有人在你不在的情况下动过你的电脑.接下来小烟就给大家介绍一下w ...
沐阳Git笔记04查看版本演变历史
04git log 查看版本演变历史一行展示 git log --oneline 显示最近4次的提交 git log -n4 显示最近几次和一行 git log --oneline -n2 切换到一 ...
使用 python 查看谁没有交作业
话说实验报告每天都要查人数,何不用程序实现使用 python 查看谁没有交作业 version 1.0 程序嘛,肯定是可以改进的.使用该程序的前提是实验报告文件名中包含学号信息.将以上程序放在实验报 ...
GitHub入门：github查看项目的历史版本，并实现版本的回滚（网页版）
原创博文,欢迎转载,转载时请务必附上博文链接,感谢您的尊重. 前言通过本篇,你将学会在GitHub官网上,查询自己项目的[历史提交记录],还有[版本的回滚]操作. 代码实现 GitHub 版本管理和 ...
不会查看GIT版本历史？快收藏这个工具
如果你想查看git的版本演变历史,可以这样做: 打开Git Bash,切换到项目目录 $ pwd $ ll $ cd git-rainbow/ $ ll $ cd mtxcrm/ $ ls -la 除 ...
oracle 查询历史数据,利用闪回查看Oracle表历史时刻数据
利用闪回查看Oracle表历史时刻数据 1.查看表历史时刻数据 select * from tab_test AS OF TIMESTAMP to_timestamp( 利用闪回查看Oracle表历史 ...

0017-Spark的HistoryServer不能查看到所有历史作业分析

0017-Spark的HistoryServer不能查看到所有历史作业分析相关推荐

最新文章

热门文章