之前的文章讲过 Hadoop 安装 和配置,并且运行 wordcount 程序。

本问主要配置历史服务器和日志服务器,用于查看程序运行的历史信息和日志信息。

配置历史服务器

历史服务器可以查看任务运行的历史。

  1. 配置 mapred-site.xml

在 etc/hadoop/mapred-site.xml 文件中添加下面这两个属性。

<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop101:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop101:19888</value>
</property>
  1. 启动历史服务器
sbib/mr-jobhistory-daemon.sh start historyserver

使用 jps 命令,可以看到启动了 JobHistoryServer 进程。在浏览器中输入 http://localhost:19888/ 可以看到任务信息,也可以在 localhost:8088 的任务行中点击 history 查看任务历史。

日志服务器

在历史服务器主页面上有个 logs,可以查看程序运行的日志信息,用来调试程序。

  1. yarn-site.xml

在 etc/hadoop/yarn-site.xml 中添加下面的属性。

<!-- 日志聚集功能使能 -->
<property><name>yarn.log-aggregation-enable</name><value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value>
</property>
  1. 启动并运行 wordcount
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start namenode
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
sbin/mr-jobhistory-daemon.sh start historyserverbin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.1.jar wordcount /user/username/input /user/username/output
  1. 查看日志

浏览器进入 localhost:19888,找到刚刚运行的任务,点击 logs 就可看到日志。

本地上也存储了日志信息,保存在 logs 路径下。

开启日志聚集功能,需要重新启动 NodeManager 、ResourceManager 和 HistoryManager。

Hadoop 笔记(五)配置历史服务器相关推荐

  1. hadoop—集群配置历史服务器及访问历史服务器日志

    Hadoop历史服务器  Hadoop自带了一个历史服务器,可以通过历史服务器查看已经运行完的Mapreduce作业记录,比如用了多少个Map.用了多少个Reduce.作业提交时间.作业启动时间.作业 ...

  2. hadoop 3.x 配置历史服务器

    修改$HADOOP_HOME/etc/hadoop/mapred-site.xml,加入以下配置(修改主机名为你自己的主机或IP,尽量不要使用中文注释) 1 <!--history addres ...

  3. 大数据之-Hadoop伪分布式_配置历史服务器---大数据之hadoop工作笔记0027

    上一节我们配置好了yarn,但是我们yarn的管理控制台点击,我们执行的MapReduce的任务的,history的时候,显示无法打开,现在我们来配置 历史服务器,让history可用,这样我们使用y ...

  4. 【Hadoop】MapReduce的配置 ---配置历史服务器

    下面介绍MapReduce的配置 相关介绍:并行计算框架(2.X),思想:分而治之 核心: Map:并行处理数据,将数据分割,一部分一部分的处理 Reduce:将Map的处理结果进行合并. 配置 cd ...

  5. Hadoop基础-配置历史服务器

    Hadoop基础-配置历史服务器 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任.  Hadoop自带了一个历史服务器,可以通过历史服务器查看已经运行完的Mapreduce作业记录,比 ...

  6. Hadoop配置历史服务器、日志聚集、常用端口号(2.x/3.x)

    历史服务器 为了查看程序的历史运行情况,需要配置一下历史服务器. 首先在NameNode配置mapred-site.xml <property> <name>mapreduce ...

  7. Hadoop学习笔记-基本操作、历史服务器和log汇总

    接上篇 基本操作 上传文件 首先创建目录 [zyi@h102 sbin]$ hadoop fs -mkdir /input 在Hadoop:http://h102:9870查看 上传文件: [zyi@ ...

  8. HTTP权威指南阅读笔记五:Web服务器

    Web服务器会做些什么: 1.建产连接:接受一个客户端连接,或者如果不希望与这个客户端建立连接,就将其关闭. 1)处理新连接 2)客户端主机名识别 3)通过ident确定客户端用户 ident在组织内 ...

  9. nginx 学习笔记(9) 配置HTTPS服务器--转载

    HTTPS服务器优化 SSL证书链 合并HTTP/HTTPS主机 基于名字的HTTPS主机 带有多个主机名的SSL证书 主机名指示 兼容性 配置HTTPS主机,必须在server配置块中打开SSL协议 ...

最新文章

  1. 【PHPWord】文本输入
  2. MySQL中表的操作
  3. 贷款能否成功,这4个人说了算
  4. iOS-生成二维码图片【附中间带有小图标二维码】(QRCode)
  5. Vuex使用详解,附加项目遇到的问题(简单明了)
  6. 我每天路过胡同的飞鸽传书
  7. php study 直接显示代码_《细说PHP》第四版 样章 第18章 数据库抽象层PDO 12
  8. 我,对安全研究专家下手的黑客!
  9. Office Word 使用笔记
  10. webpack创建library及从零开始发布一个npm包
  11. Wpf之无法添加wpf窗体
  12. 编译OpenJDK12:Target CPU mismatch. We are building for x86_64 but CL is for ; expected x64
  13. poj2594 Treasure Exploration 二分匹配之最小路径覆盖+传递闭包
  14. python+Selenium2+chrome构建动态网页爬虫工具
  15. 视频教程-网站建设-1小时学会建站,采用PHPWAMP搭建网站[全程实战]-PHP
  16. 人人商城小程序下单付款报错:“服务器暂时无法处理您的请求,请稍后再试”
  17. Unity FPS显示工具
  18. 计算机软件操作试题多选,2016职称计算机考试WPS_Office多选试题及答案
  19. python在匿名函数作和_python内置函数和匿名函数
  20. box-sizing属性是什么作用?

热门文章

  1. v90绝对值编码器回零_由“V90使用绝对值编码器掉电后位置丢失”所想到的
  2. 【论文笔记】 Reinforcement-Learning-Guided Source Code Summarization using Hierarchical Attention
  3. 世界人工智能大会阿里巴巴专场论坛《数字时代的技术责任》来了
  4. Wireshark 解析PDCP-LTE
  5. random.seed(0)
  6. 如何搭建企业数据化运营体系?
  7. win10 suse linux,Windows 10现已支持安装SUSE Linux子系统 附安装教程|蓝点网
  8. 怎么查服务器芯片组,服务器芯片组
  9. 160个CrackMe 077 firework2
  10. 请问深圳的准生证在哪办理?