五、Hadoop配置参数介绍

Hadoop集群配置文件主要有：

它们的默认参数配置可以看：

core-default.xml ：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/core-default.xml

hdfs-default.xml：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

mapred-default.xml：https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

yarn-default.xml：https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

六、Hadoop集群启动与监控

Hadoop集群启动/关闭采用下面步骤：
启动：

在Master节点：$HADOOP_HOME/sbin/start-dfs.sh ，启动HDFS 。
在Master节点：$HADOOP_HOME/sbin/start-yarn.sh，启动YARN。
在Master节点：$HADOOP_HOME/bin/mapred --daemon start historyserver，启动日志服务。

关闭：

在Master节点：$HADOOP_HOME/sbin/stop-dfs.sh ，关闭HDFS 。
在Master节点：$HADOOP_HOME/sbin/stop-yarn.sh，关闭YARN。
在Master节点：$HADOOP_HOME/bin/mapred --daemon stop historyserver，关闭日志服务。

6.1、Hadoop集群启动报错及解决

报错：

解决方法：

在/opt/hadoop-3.1.4/etc/hadoop/hadoop-env.sh添加如下语句

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

然后再拷贝到子节点

scp hadoop-env.sh node1:/opt/hadoop-3.1.4/etc/hadoop/
scp hadoop-env.sh node2:/opt/hadoop-3.1.4/etc/hadoop/
scp hadoop-env.sh node3:/opt/hadoop-3.1.4/etc/hadoop/

修改完后，启动HDFS可以看到：

启动YARN

启动mapred

6.2、查看监控

在浏览器输入网址：192.168.128.10:50070

注意：看服务有没有开启；要记得关闭防火墙，否则会出现无法访问网站

服务已开启：

查看防火墙状态：

systemctl status firewalld.service

关闭防火墙：

systemctl stop firewalld.service

永久关闭防火墙：

systemctl disable firewalld.service

同时，我们也要把子节点的防火墙关掉：

ssh node1 "systemctl stop firewalld.service & systemctl disable firewalld.service"
ssh node2 "systemctl stop firewalld.service & systemctl disable firewalld.service"
ssh node3 "systemctl stop firewalld.service & systemctl disable firewalld.service"

最后，我们重新输入网址就可以看到界面了

6.3、优化配置

在网址输入：node1:9864 发现无法访问，因此我们要设置机器名与IP映射

机器名与IP映射设置

打开C:\Windows\System32\drivers\etc\hosts添加如下：

192.168.128.10 master master.centos.com
192.168.128.11 node1 node1.centos.com
192.168.128.12 node2 node2.centos.com
192.168.128.13 node3 node3.centos.com

（如果遇到hosts没有权限无法更改，参考这篇博客：https://blog.csdn.net/ahmcwt/article/details/109578320）

完成！

学习笔记Hadoop（八）—— Hadoop集群的安装与部署（5）—— Hadoop配置参数介绍、Hadoop集群启动与监控相关推荐

学习笔记Hadoop（七）—— Hadoop集群的安装与部署（4）—— 配置Hadoop集群
四.配置Hadoop集群 Hadoop集群总体规划 Hadoop集群安装采用下面步骤: 在Master节点:上传并解压Hadoop安装包 . 在Master节点:配置Hadoop所需configura ...
hadoop学习笔记（八）：Java HDFS API
hadoop学习笔记(八):Java HDFS API 阅读目录一.使用HDFS FileSystem详解回到顶部一.使用HDFS FileSystem详解 HDFS依赖的第三方包: hadoo ...
Hadoop分布式集群的安装与部署实训总结报告
目录前言一.Hadoop平台框介绍 1.Hadoop的架构 2.HDFS:遵循主从架构,它具有以下元素. 2.1 名称节点 -Namenode 2.2 数据节点 - Datanode 2.3 块 ...
Redis学习笔记（八）redis之lua脚本学习
redis系列文章目录使用spring-data-redis实现incr自增 Redis 利用Hash存储节约内存 Redis学习笔记(九)redis实现时时直播列表缓存,支持分页[热点数据存储] ...
ROS学习笔记（八）： ROS通信架构
ROS学习笔记(八): ROS通信架构文章目录 01 Node & Master 1.1 Node 1.2 Master 1.3 启动master和node 1.4 rosrun和rosno ...
Kotlin 学习笔记（八）—— Kotlin类与对象之接口
Kotlin 学习笔记(八)-- Kotlin类与对象之接口 Kotlin学习笔记系列教程 Kotlin 学习笔记(一)-- 概述.学习曲线.开发工具.参考资料 Kotlin 学习笔记(二)-- 基础 ...
Windows进程与线程学习笔记（八）—— 线程切换与TSS/FS
Windows进程与线程学习笔记(八)-- 线程切换与TSS/FS 要点回顾线程切换与TSS 内核堆栈调用API进0环实验:分析SwapContext 线程切换与FS 段描述符结构分析Swap ...
Windows保护模式学习笔记（八）—— 页目录表基址/页表基址
Windows保护模式学习笔记(八)-- 页目录表基址/页表基址要点回顾一.页目录表基址实验:拆分线性地址C0300000,并查看其对应的物理页第一步:打开一个进程,获得它的Cr3 第二步:查 ...
OpenCV学习笔记（八）：形态学morpholgy(2)：开/闭运算，形态学梯度、顶帽/黑帽morphologyEx()
OpenCV学习笔记(八):形态学morpholgy(2):开.闭运算,形态学梯度.顶帽.黑帽:morphologyEx() 数学形态学(Mathematical morphology) 是一门建立在 ...

学习笔记Hadoop（八）—— Hadoop集群的安装与部署（5）—— Hadoop配置参数介绍、Hadoop集群启动与监控