二、Hadoop完全分布部署
集群配置
注意：NameNode和SecondaryNameNode不要安装在同一台服务器
注意：ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。
一、核心配置文件
配置：hadoop-env.sh（在/opt/module/hadoop-3.1.3/etc/hadoop目录下）
1、Linux系统中获取JDK的安装路径：
[soft863@ hadoop100 ~]# echo $JAVA_HOME
/opt/module/jdk1.8.0_212
2、在hadoop-env.sh文件中修改JAVA_HOME 路径：
export JAVA_HOME=/opt/module/jdk1.8.0_212
二、配置 core-site.xml
命令：cd /etc/hadoop
vim core-site.xml
文件内容：
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop100:9820</value>
</property>
<!-- hadoop.data.dir是自定义的变量，下面的配置文件会用到 -->
<property>
<name>hadoop.data.dir</name>
<value>/opt/module/hadoop-3.1.3/data</value>
</property>
</configuration>
三、HDFS配置文件
配置 hdfs-site.xml
文件内容：
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- namenode数据存放位置 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>file://${hadoop.data.dir}/name</value>
</property>
<!-- datanode数据存放位置 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>file://${hadoop.data.dir}/data</value>
</property>
<!-- secondary namenode数据存放位置 -->
<property>
<name>dfs.namenode.checkpoint.dir</name>
<value>file://${hadoop.data.dir}/namesecondary</value>
</property>
<!-- datanode重启超时时间是30s，解决兼容性问题，跳过 -->
<property>
<name>dfs.client.datanode-restart.timeout</name>
<value>30</value>
</property>
<!-- 设置web端访问namenode的地址 -->
<property>
<name>dfs.namenode.http-address</name>
<value>hadoop100:9870</value>
</property>
<!-- 设置web端访问secondary namenode的地址 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop102:9868</value>
</property>
</configuration>
四、MapReduce配置文件
配置mapred-site.xml
命令vi mapred-site.xml
文件内容：
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
五、集群分发
把module目录拷贝到hadoop101：
[root@hadoop100 etc]# scp -r ./hadoop/ hadoop101:/opt/moudle/hadoop-3.1.3/etc/
Scp -r 100中要复制过去的文件 主机名：要复制到的文件位置
把module目录拷贝到hadoop101：
[root@hadoop102 opt]# rsync -av module hadoop101:/opt/
把 /etc/profile拷贝到hadoop100 hadoop101
[root@hadoop102 opt]# rsync -av /etc/profile hadoop101:/etc
[root@hadoop102 opt]# rsync -av /etc/profile hadoop100:/etc
在hadoop100和hadoop101上分别要进行source /etc/profile
[root@hadoop100 opt]# source /etc/profile
[root@hadoop101 opt]# source /etc/profile
六、分布式集群格式化
分布式集群第一次启动之前要格式化
格式化之前，要把三个服务器上的hadoop安装目录下的 data目录和logs目录都删掉
[root@hadoop101 opt]# cd /opt/module/hadoop-3.1.3
[root@hadoop101 opt]# rm -rf data
[root@hadoop101 opt]# rm -rf logs
在指定namenode运行的服务器上执行格式化：
（namenode指定在hadoop100上运行的）
[root@hadoop100 hadoop-3.1.3]# hdfs namenode -format
七、集群单点启动
Hadoop100：
hdfs --daemon start namenode
hdfs --daemon start datanode
yarn --daemon start nodemanager
hadoop101：
yarn --daemon start resourcemanager
hdfs --daemon start datanode
yarn --daemon start nodemanager
hadoop102：
hdfs --daemon start secondarynamenode
hdfs --daemon start datanode
yarn --daemon start nodemanager
（1）启动hdfs相关
hdfs --daemon start namenode
hdfs --daemon start datanode
（2）启动yarn相关
yarn --daemon start resourcemanager
yarn --daemon start nodemanager
八、启动停止集群
启动集群：
如果集群上已经启动hadoop相关程序，可以先执行停止。
在hadoop100上执行以下脚本，用来启动hdfs：
命令： start-dfs.sh
在hadoop101上执行以下脚本，用来启动yarn：
命令： start-yarn.sh
停止集群：
如果集群上已经启动hadoop相关程序，可以先执行停止。
在hadoop100上执行以下脚本，用来停止hdfs：
命令： stop-dfs.sh
在hadoop101上执行以下脚本，用来停止yarn：
命令：stop-yarn.sh
二、Hadoop完全分布部署相关推荐
- Hadoop伪分布部署
一.在hadoop中执行 在/opt/module/hadoop-3.1.3/share/hadoop/mapreduce 目录中执行文件 命令:hadoop jar hadoop-mapreduce ...
- [hadoop全分布部署]安装Hadoop、配置Hadoop 配置文件①
- [hadoop全分布部署]安装Hadoop、配置Hadoop 配置文件②
- [hadoop全分布部署]安装Hadoop、验证Hadoop①
- 头歌Educoder云计算与大数据——实验二 Hadoop单机部署
头歌Educoder云计算与大数据--实验二 Hadoop单机部署 答案在下面的链接里 https://blog.csdn.net/qq_20185737/article/details/114677 ...
- 学习笔记Hadoop（五）—— Hadoop集群的安装与部署（2）—— Hadoop集群部署模式、配置固定IP
一.Hadoop集群部署模式 Hadoop的安装部署的模式一共有三种: 独立模式(本地模式) standalone 默认的模式,无需运行任何守护进程(daemon),所有程序都在单个JVM上执行.由于 ...
- Hadoop全分布式部署 - CentOS（结尾附视频）
写在前面:博主是一只经过实战开发历练后投身培训事业的"小山猪",昵称取自动画片<狮子王>中的"彭彭",总是以乐观.积极的心态对待周边的事物.本人的技 ...
- VMStation+hadoop完全分布搭建master，slave1，slave2节点
文章目录 一.准备阶段 1.准备三台虚拟机和只要其中一台安装好jdk和hadoop,以及都已配好静态IP地址的虚拟机 2.集群规划 3.三台虚拟机及其运行环境准备 二.配置阶段 1.配置 ...
- hadoop集群部署
hadoop简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构, 是一个存储系统+计算框架的软件框架,主要解决海量数据存储与计算的问题,是大数据技术中的基石. Hadoop以一种可 ...
最新文章
- 用于机器人导航辅助的6自由度姿态估计的平面辅助视觉惯性里程计
- Java虚拟机性能监控与调优实战
- php采用fpdf生成中文pdf
- 【五线谱】拍号与音符时值 ( 五线谱拍号 | 全音符休止符 | 二分音符休止符 | 四分音符休止符 | 八分音符休止符 | 十六分音符休止符 | 三十二分音符休止符 )
- 方法区如何判断是否需要回收
- 全球及中国偶联单克隆抗体行业深度调研及项目风险评估报告2021-2027年
- 【9018:1956】线段树1
- 首次push本地代码到github上出现的问题及解决方案
- c语言单词的一个字母变换,c语言：输入一行英文字符串，把每个单词第一个字母变为大写，输出修改后的字符串知道...
- ExtJs教程 3.0
- 学软件测试必看的10本书推荐给你
- SEO原创助手-SEO免费原创助手工具自动分析网站排名
- Java批量修改文件名称
- 关于程序员的教育和培训
- ue4 vr连接_基于UE4的VR项目基础环境配置和Motion Controller控制配置
- 逍遥模拟器获取服务器信息出错,前沿科技资讯：逍遥安卓模拟器网络不稳定如何办（显示网络异常解决方法）...
- 微软project服务器搭建,安装和配置 Project Server 2010
- 通过Pyecharts绘制可视化地球竟 然如此简单
- 中兴通讯事件的警示和教训
- 实现计算器（C++版 ）