配置HistoryServer
一:
默认情况下HistoryServer没有启动,需要使用sbin/mr-jobhistory-daemon.sh start historyserver 启动
二:
启动前需要在mapred-site.xml加上配置:
[hadoop@hadoop001 hadoop]$ pwd
/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop
寻找mapred-site.xml文件路径
<property><name>mapreduce.jobhistory.address</name><value>127.0.0.1:10020</value>
</property><property><name>mapreduce.jobhistory.webapp.address</name><value>127.0.0.1:19888</value>
</property><property><name>mapreduce.jobhistory.done-dir</name><value>/history/done</value>
</property>
<property><name>yarn.app.mapreduce.am.staging-dir</name><value>/tmp/hadoop-yarn/staging</value>
</property><property><name>mapreduce.task.io.sort.mb</name><value>1024</value>
</property>
三:
启用日志聚集功能,默认为false,不打开则查看详细日志会报错
[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ sbin/mr-jobhistory-daemon.sh start historyserver
[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ jps
28144 NameNode
28433 SecondaryNameNode
29506 Jps
28582 ResourceManager
28682 NodeManager
28269 DataNode
29469 JobHistoryServer
ok了
配置HistoryServer相关推荐
- flink配置historyserver
flink版本1.9.1 1.编辑flink/conf/flink-conf.yaml ,搜索history,主要编辑如下 #===================================== ...
- 【Spark篇】---Spark中Master-HA和historyServer的搭建和应用
一.前述 本节讲述Spark Master的HA的搭建,为的是防止单点故障. Spark-UI 的使用介绍,可以更好的监控Spark应用程序的执行. 二.具体细节 1.Master HA 1.Mast ...
- Spark _16 _SparkUIMaster HA
SparkUI SparkUI界面介绍 可以指定提交Application的名称 ./spark-shell --master spark://henu1:7077 --name myapp 配置h ...
- spark学习基础篇1--spark概述与入门
spark总结 一: spark 概述 1. Spark 是 分布式内存计算框架 Apache Spark 是一个快速的, 多用途的集群计算系统, 相对于 Hadoop MapReduce 将中间结果 ...
- 使用Spark SQL读取Hive上的数据
Spark SQL主要目的是使得用户可以在Spark上使用SQL,其数据源既可以是RDD,也可以是外部的数据源(比如Parquet.Hive.Json等).Spark SQL的其中一个分支就是Spar ...
- Hadoop实战学习(3)-读取数据库内容
要读取数据库中的数据,首先需要实现一个实体类,这个实体类部分映射数据库中要查询的表的字段.且该实体类需要实 现Writable与DBWritable两个接口,DBWritable的实现类负责查询与写入 ...
- 基于ubuntu的hadoop完全分布式集群搭建
借鉴网址1 借鉴网址2 hadoop官方配置教程 搭建虚拟机,克隆(或者先配置JAVA和Hadoop环境再克隆,之后要改主机名和映射以及SSH免密) 可以利用xsync集群分发脚本一台机器配置其他机器 ...
- Spark-----Spark 与 Hadoop 对比,Spark 集群搭建与示例运行,RDD算子简单入门
目录 一.Spark 概述 1.1. Spark是什么 1.2. Spark的特点(优点) 1.3. Spark组件 1.4. Spark和Hadoop的异同 二.Spark 集群搭建 2.1. Sp ...
- Spark history-server 配置 !运维人员的强大工具
spark history Server产生背景 以standalone运行模式为例,在运行Spark Application的时候,Spark会提供一个WEBUI列出应用程序的运行时信息:但该WE ...
最新文章
- 软件架构视图—4+1模式
- 三维重建1-位姿追踪:单应矩阵、本质矩阵和基本矩阵
- 02.Python基础_标准数据类型_数值型_字符串
- C++ using namespace 命名空间的定义与使用
- [vue-cli]vue-cli生成的项目可以使用es6、es7的语法吗?为什么?
- OpenCV多目标跟踪与视频分析
- cocos2d-x系列 Mac下配置cocos2d-x开发环境(android和ios)
- [UVA1374]Power Calculus【迭代加深】
- ubuntu18.04超级简单的安装wine QQ教程
- 无人驾驶综述:等级划分
- 一维和二维傅里叶变换的图片直观理解
- 数学建模 论文 各部分 写作指导 及 获奖技巧讲解【美赛MCM/ICM】
- js自动生成手机扫描二维码就可以实现自动下载apk的二维码
- JavaScript中的异步、同步
- 511遇见安卓手机投屏支持一键转无线群控
- Framer X 21 特别版 Mac 强大的移动应用交互原型设计神器工具
- 论文摘要和引言的写法
- 北京市中小学信息学竞赛汇总
- 【data】bike的数据集资源(持更)
- 《人工智能》教学上机实验报告
热门文章
- 阿里云搭建图片服务器,图片资源服务器搭建
- 4. Jmeter主界面的介绍
- python入门系列:迭代器和生成器
- vue-cli中理不清的assetsSubDirectory 和 assetsPublicPath
- win8删除后清空回收站文件怎么恢复
- php中读取文件内容的几种方法。(file_get_contents:将文件内容读入一个字符串)...
- typora工具的使用方法-一款非常适合程序员的工具
- SLAM之g2o安装
- Linux教程:10条秘诀确保Linux桌面安全性
- c语言怎么储存字母,c语言怎么用变量存储中文字符?书本上面没有的秘密