配置历史服务器

历史服务器可以查看任务运行的历史。

配置 mapred-site.xml

在 etc/hadoop/mapred-site.xml 文件中添加下面这两个属性。

<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop101:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop101:19888</value>
</property>

启动历史服务器

sbib/mr-jobhistory-daemon.sh start historyserver

使用 jps 命令，可以看到启动了 JobHistoryServer 进程。在浏览器中输入 http://localhost:19888/ 可以看到任务信息，也可以在 localhost:8088 的任务行中点击 history 查看任务历史。

日志服务器

在历史服务器主页面上有个 logs，可以查看程序运行的日志信息，用来调试程序。

yarn-site.xml

在 etc/hadoop/yarn-site.xml 中添加下面的属性。

<!-- 日志聚集功能使能 -->
<property><name>yarn.log-aggregation-enable</name><value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value>
</property>

启动并运行 wordcount

sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start namenode
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
sbin/mr-jobhistory-daemon.sh start historyserverbin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.1.jar wordcount /user/username/input /user/username/output

查看日志

浏览器进入 localhost:19888，找到刚刚运行的任务，点击 logs 就可看到日志。

本地上也存储了日志信息，保存在 logs 路径下。

开启日志聚集功能，需要重新启动 NodeManager 、ResourceManager 和 HistoryManager。

Hadoop 笔记（五）配置历史服务器相关推荐

hadoop—集群配置历史服务器及访问历史服务器日志
Hadoop历史服务器 Hadoop自带了一个历史服务器,可以通过历史服务器查看已经运行完的Mapreduce作业记录,比如用了多少个Map.用了多少个Reduce.作业提交时间.作业启动时间.作业 ...
hadoop 3.x 配置历史服务器
修改$HADOOP_HOME/etc/hadoop/mapred-site.xml,加入以下配置(修改主机名为你自己的主机或IP,尽量不要使用中文注释) 1 <!--history addres ...
大数据之-Hadoop伪分布式_配置历史服务器---大数据之hadoop工作笔记0027
上一节我们配置好了yarn,但是我们yarn的管理控制台点击,我们执行的MapReduce的任务的,history的时候,显示无法打开,现在我们来配置历史服务器,让history可用,这样我们使用y ...
【Hadoop】MapReduce的配置 ---配置历史服务器
下面介绍MapReduce的配置相关介绍:并行计算框架(2.X),思想:分而治之核心: Map:并行处理数据,将数据分割,一部分一部分的处理 Reduce:将Map的处理结果进行合并. 配置 cd ...
Hadoop基础-配置历史服务器
Hadoop基础-配置历史服务器作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. Hadoop自带了一个历史服务器,可以通过历史服务器查看已经运行完的Mapreduce作业记录,比 ...
Hadoop配置历史服务器、日志聚集、常用端口号(2.x/3.x)
历史服务器为了查看程序的历史运行情况,需要配置一下历史服务器. 首先在NameNode配置mapred-site.xml <property> <name>mapreduce ...
Hadoop学习笔记-基本操作、历史服务器和log汇总
接上篇基本操作上传文件首先创建目录 [zyi@h102 sbin]$ hadoop fs -mkdir /input 在Hadoop:http://h102:9870查看上传文件: [zyi@ ...
HTTP权威指南阅读笔记五：Web服务器
Web服务器会做些什么: 1.建产连接:接受一个客户端连接,或者如果不希望与这个客户端建立连接,就将其关闭. 1)处理新连接 2)客户端主机名识别 3)通过ident确定客户端用户 ident在组织内 ...
nginx 学习笔记(9) 配置HTTPS服务器--转载
HTTPS服务器优化 SSL证书链合并HTTP/HTTPS主机基于名字的HTTPS主机带有多个主机名的SSL证书主机名指示兼容性配置HTTPS主机,必须在server配置块中打开SSL协议 ...

Hadoop 笔记（五）配置历史服务器

配置历史服务器

日志服务器

Hadoop 笔记（五）配置历史服务器相关推荐

最新文章

热门文章