Hadoop Jobhistory记录下已运行完的MapReduce作业信息并存放在指定的HDFS目录下，
默认情况下是没有启动的，需要配置完后手工启动服务。

1.修改hadoop的配置文件mapred-site.xml如下

<property><name>mapreduce.jobhistory.address</name><value>zdh-9:10020</value><description>MapReduce JobHistory Server IPC host:port</description>
</property><property><name>mapreduce.jobhistory.webapp.address</name><value>zdh-9:19888</value><description>MapReduce JobHistory Server Web UI host:port</description>
</property><property><name>mapreduce.jobhistory.done-dir</name><value>/history/done</value>
</property><property><name>mapreduce.jobhistory.intermediate-done-dir</name><value>/history/done_intermediate</value>
</property>

2.启动history-server

mr-jobhistory-daemon.sh start historyserver
停止history-server
mr-jobhistory-daemon.sh stop historyserver

3.通过浏览器访问Hadoop Jobhistory的WEBUI

http://zdh-9:19888

4.参考文章

Hadoop JobHistory
http://www.cnblogs.com/luogankun/p/4019303.html

Hadoop Jobhistory配置启用相关推荐

【深入理解Hadoop原理】Hadoop 参数配置详解
Hadoop 参数配置详解一.常用端口组件节点默认端口配置用途说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口,用于数据传 ...
Hadoop JobHistory
转自:http://www.cnblogs.com/luogankun/p/4019303.html hadoop jobhistory记录下已运行完的MapReduce作业信息并存放在指定的HDFS ...
Hadoop jobhistory历史服务器
2019独角兽企业重金招聘Python工程师标准>>> Hadoop自带了一个历史服务器,可以通过历史服务器查看已经运行完的Mapreduce作业记录,比如用了多少个Map.用了多少 ...
Hadoop基础-配置历史服务器
Hadoop基础-配置历史服务器作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. Hadoop自带了一个历史服务器,可以通过历史服务器查看已经运行完的Mapreduce作业记录,比 ...
Hadoop安装配置
1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesy ...
Hadoop安装配置（转自虾皮工作室）
转自虾皮工作室http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html#!comments 1.集群部署介绍 1.1 Hadoop ...
5.Hadoop的学习（Hadoop的配置（伪分布式的搭建）-1）
1.Hadoop的配置独立模式.伪分布式.完全分布式 2.安装完之后就已经是独立模式了. (1)在独立模式之下是没有守护进程的,可以输入命令 jps 会发现只有一个Jps,没有其他守护进程. ( ...
hadoop单机配置(非分布式)
1.1 环境使用deepin系统.Hadoop3.1.3和Java环境jdk-8u162-linux-x64.tar.gz. https://pan.baidu.com/s/1K1U1dypbgJe ...
Hadoop用户配置免密登陆
Hadoop用户配置免密登陆, 参考其他免密配置方法自己总结的更简洁的步骤. 要实现A免密登陆B,需要把A生成的公钥放到B的对应目录下, 要实现ABC之间免密登陆,把3者的公钥汇总到一个文件中, 然后 ...

Hadoop Jobhistory配置启用

1.修改hadoop的配置文件mapred-site.xml如下

2.启动history-server

3.通过浏览器访问Hadoop Jobhistory的WEBUI

4.参考文章

Hadoop Jobhistory配置启用相关推荐

最新文章

热门文章