Hadoop JobHistory
转自:http://www.cnblogs.com/luogankun/p/4019303.html
hadoop jobhistory记录下已运行完的MapReduce作业信息并存放在指定的HDFS目录下,默认情况下是没有启动的,需要配置完后手工启动服务。
mapred-site.xml添加如下配置
<property><name>mapreduce.jobhistory.address</name><value>hadoop000:10020</value><description>MapReduce JobHistory Server IPC host:port</description> </property><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop000:19888</value><description>MapReduce JobHistory Server Web UI host:port</description> </property><property><name>mapreduce.jobhistory.done-dir</name><value>/history/done</value> </property><property><name>mapreduce.jobhistory.intermediate-done-dir</name><value>/history/done_intermediate</value></property>
启动history-server:
$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver
停止history-server:
$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh stop historyserver
history-server启动之后,可以通过浏览器访问WEBUI: hadoop000:19888
在hdfs上会生成两个目录
hadoop fs -ls /historydrwxrwx--- - spark supergroup 0 2014-10-11 15:11 /history/done drwxrwxrwt - spark supergroup 0 2014-10-11 15:16 /history/done_intermediate
mapreduce.jobhistory.done-dir(/history/done): Directory where history files are managed by the MR JobHistory Server(已完成作业信息)
mapreduce.jobhistory.intermediate-done-dir(/history/done_intermediate): Directory where history files are written by MapReduce jobs.(正在运行作业信息)
测试:
通过hive查询city表观察hdfs文件目录和hadoop000:19888
hive> select id, name from city;
观察hdfs文件目录:
1)历史作业记录是按照年/月/日的形式分别存放在相应的目录(/history/done/2014/10/11/000000);
2)每个作业有2个不同的后缀名的记录:jhist和xml
hadoop fs -ls /history/done/2014/10/11/000000 -rwxrwx--- 1 spark supergroup 22572 2014-10-11 15:23 /history/done/2014/10/11/000000/job_1413011730351_0002-1413012208648-spark-select+id%2C+name+from+city%28Stage%2D1%29-1413012224777-1-0-SUCCEEDED-root.spark-1413012216261.jhist -rwxrwx--- 1 spark supergroup 160149 2014-10-11 15:23 /history/done/2014/10/11/000000/job_1413011730351_0002_conf.xml
观察WEBUI: hadoop000:19888
在WEBUI中展现了每个job使用的Map/Reduce的数量、作业提交时间、作业启动时间、作业完成时间、Job ID、提交人User、队列等信息;
点击【job_1413011730351_0002】弹出页面显示类似信息:Aggregation is not enabled. Try the nodemanager at ......
解决方法: yarn-site.xml添加如下配置
<property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property>
重启yarn即可。
Hadoop JobHistory相关推荐
- Hadoop jobhistory历史服务器
2019独角兽企业重金招聘Python工程师标准>>> Hadoop自带了一个历史服务器,可以通过历史服务器查看已经运行完的Mapreduce作业记录,比如用了多少个Map.用了多少 ...
- Hadoop Jobhistory配置启用
Hadoop Jobhistory记录下已运行完的MapReduce作业信息并存放在指定的HDFS目录下, 默认情况下是没有启动的,需要配置完后手工启动服务. 1.修改hadoop的配置文件mapre ...
- Hadoop日志详解
文章目录 1 Hadoop日志详解 2 Hadoop 系统服务输出的日志 2.1 修改Hadoop系统服务日志目录(包括NameNode.secondarynamenode.datanode.reso ...
- Kylin安装Version1.6.0
Kylin安装,基于版本1.6.0,Kylin只有单机没有集群, 使用apache-kylin-1.6.0-hbase1.x-bin.tar.gz安装包. 1.安装规划 角色规划 IP/机器名 安装软 ...
- Apache Oozie(2):Apache Oozie安装
1 修改 hadoop 相关配置 1.1 配置 httpfs 服务 修改 hadoop 的配置文件 core-site.xml <property><name>hadoop. ...
- Hadoop2.8.5集群查看历史任务服务JobHistoryServer
Hadoop自带了一个历史服务器,可以通过历史服务器查看已经运行完的Mapreduce作业记录,比如用了多少个Map.用了多少个Reduce.作业提交时间.作业启动时间.作业完成时间等信息.默认情况下 ...
- Hadoop小兵笔记【六】hadoop2.2.0伪分布式环境搭建疑难-JobHistory显示Job信息为空
问题现象 运行Hadoop2.2.0自带的wordcount实例: Job运行成功: http://Master:8080/cluster/app查看Job信息为空: http://Master:19 ...
- docker 安装oracle_阿里云使用Docker搭建Hadoop集群
摘要 吐血整理,搭建了两遍,亲测可用!!! 我买的是阿里云2C4G的服务器,使用的是CentOS 7.7版本.在搭建过程中踩了不少坑,本篇文章希望对大家有用 CentOS 7.7安装Docker 查看 ...
- Hadoop 全分布模式 平台搭建
现将博客搬家至CSDN,博主改去CSDN玩玩~ 传送门:http://blog.csdn.net/sinat_28177969/article/details/54138163 Ps:主要答疑区在本帖 ...
最新文章
- 忽略某些文件 —— Git 学习笔记 05
- Java IO流读取文件
- 基金指数温度怎么算_医药冷链物流——运输过程中如何保证温度?
- python中queue使用_在python2.6中使用Queue类
- 激光光凝后容易出现频繁闪光的原因
- controller方法要trycatch吗_拜托,别再满屏try catch了,试试统一异常处理吧
- Web Worker javascript多线程编程(一)
- jvm ide_通过微调JVM Garbage Collector减少Java IDE滞后
- 面试官邪魅一笑:MySQL千万级别大表,你要如何优化?
- ruby 数据类型Symbol
- 2015/08/24
- NFinal 控制器—URL
- 背景建模与前景检测之二(Background Generation And Foreground Detection Phase 2)
- 按键消抖Verilog
- 网吧客户信息查询c语言,网吧经营管理之客户定位
- 组件,控件,用户控件
- 第十七章 : 网络系统
- jdbc cancel mysql_当执行Statement的cancel()之后发生了什么?
- Ansoft HFSS v15.0 win32_64 Full-ISO 2DVD(三维结构电磁场仿真软件)
- 一个带浮动按钮的布局