hadoop—集群配置历史服务器及访问历史服务器日志

Hadoop历史服务器

Hadoop自带了一个历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下，Hadoop历史服务器是没有启动的，我们可以通过下面的命令来启动Hadoop历史服务器

历史服务器开启 mr-jobhistory-daemon.sh start historyserver

配置历史服务器

在配置文件前需要注意的一点就是先把进程打开 start-all.sh，不然是访问不到网页的

首先根目录创建一个目录文件夹
运行一个wordcount 程序图中标注有详细步骤
在web端网页观察 yarn 的页面 ip地址为主机名:8088
注：如果进入网页没有application说明配置文件有问题，仔细查看集群配置文件内容 进入有详细配置文件代码 全分布式集群搭建

历史服务器是mapred-site.xml文件
全分布式集群搭建有配置文件代码及详细步骤

    <configuration><property><name>mapreduce.framework.name</name><value>yarn</value><final>true</final></property><property><name>mapreduce.jobhistory.address</name><!-- 启动历史服务器--><value>hadoop:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><!-- 历史服务器web访问地址--><value>hadoop:19888</value></property></configuration>

记得集群机器都得配置，如果配过了就不需要在配置了

日志聚合在yarn-site.xml 文件
全分布式集群搭建有配置文件代码及详细步骤

<property>  <name>yarn.log-aggregation-enable</name><value>true</value><!--开启日志聚合 -->
</property><property>  <name>yarn.nodemanager.remote-app-log-dir</name><value>/hadoop/logs</value><!--日志聚合到一个文件夹中 -->
</property>

注：每台机器都得配置

配置完毕以后重启yarn 进程如果进程已开则先执行 stop-yarn.sh 在执行start-yarn.sh
启动历史服务器

开启jobhistory进程执行：mr-jobhistory-daemon.sh start historyserver
关闭jobhistory进程执行：mr-jobhistory-daemon.sh stop historyserver

点开进入yarn网页端 ip地址为主机名:8088
若页面没有application 再次重新执行一次 wordcount 程序
注：第2点有详细步骤
如果在点击 history 历史记录进入的时候，报 Not found 找不到什么之类的问题时，重新启动历史服务器的进程就好了。

hadoop—集群配置历史服务器及访问历史服务器日志相关推荐

Hadoop集群配置（最全面总结）
Hadoop集群配置(最全面总结) 通常,集群里的一台机器被指定为 NameNode,另一台不同的机器被指定为JobTracker.这些机器是masters.余下的机器即作为DataNode也作为Ta ...
大数据讲课笔记3.3 Hadoop集群配置
文章目录零.学习目标一.导入新课二.新课讲解 (一)配置Hadoop集群 1.在master虚拟机上配置hadoop (1)编辑Hadoop环境配置文件 - hadoop-env.sh (2)编 ...
Hadoop集群配置及运行
本文章基于尚硅谷Hadoop 3.x视频进行总结,仅作为学习交流使用视频链接如下:30_尚硅谷_Hadoop_入门_集群配置_哔哩哔哩_bilibili 集群配置整体思路 1.切换到/ ...
greenplum配置高可用_高可用hadoop集群配置就收藏这一篇，动手搭建Hadoop（5）
01 ssh免密安装 02 jdk安装 03 hadoop伪分布式安装 04 hadoop全分布式完成了前面四步,现在做hadoop的高可用.其实和之前的lvs的高可用差不多的.如果我们有两个nam ...
Hadoop集群配置搭建
环境:Centos 6.9,Hadoop 2.7.1,JDK 1.8.0_161,Maven 3.3.9 前言: 1.配置一台master服务器,两台或多台slave服务器. 2.master可 ...
Hadoop集群配置
伪分布集群安装配置环境 linux系统:Centos7 虚拟机:VMware Workstation 16 Pro 一台Linux机器,也可以称为是一个节点,上面安装的有JDK环境最上面的是Had ...
大数据平台分布式搭建-Hadoop集群配置
Section 1: 文件清单 hadoop-2.8.4.tar.gz jdk-8u181-linux-x64.tar xshell 7家庭版 xftp 7家庭版 Section 2: 下载链接 [J ...
hadoop集群配置记录
Hadoop集群安装笔记 Hadoop集群安装笔记硬件配置软件配置设置环境变量配置Hadoop 集群运行启动Hadoop 遇到的问题汇总 ssh连接问题 hostname设置 Hadoop- ...
hadoop集群配置SSH免登陆
今天给大家总结一下hadoop集群之间免登陆的步骤 node1 ssh node4 1.在node1中生成密钥 [root@node1 ~]# ssh-keygen -t dsa -P '' -f ~ ...

hadoop—集群配置历史服务器及访问历史服务器日志

Hadoop历史服务器

hadoop—集群配置历史服务器及访问历史服务器日志相关推荐

最新文章

热门文章