[hadoop笔记]基于CentOS7虚拟机搭建Hadoop完全分布模式（3个节点）

文章目录

1. 安装前准备
- ① 虚拟机配置
- ⑤克隆虚拟机
- ⑥ 对每个主机固定IP地址，修改主机名，做主机映射
- ⑦ 免密登录设置
2. 搭建Hadoop完全分布模式
- ① 修改Hadoop配置文件
- ③ 分发给其他节点
- ④ 在主节点wx1上格式化hdfs并启动hdfs和yarn：
- ⑤分别在三个节点（虚拟机）上验证Hadoop进程，在撰写栏中输入：
- ⑥通过web访问Hadoop：
- ⑦完成后停止Hadoop进程：

1. 安装前准备

① 虚拟机配置

可参考基于CentOS7虚拟机搭建Hadoop单机模式
在上一篇的基础上继续后续步骤
新增软件：

Xshell6

⑤克隆虚拟机

关闭虚拟机wx，然后克隆2台虚拟机作为从机。

[hadoop@wx ~]$ sudo poweroff

⑥ 对每个主机固定IP地址，修改主机名，做主机映射

修改每台主机的IP地址为静态IP（三台虚拟机的IP分别改为131 132 133)

[hadoop@wx ~]$ sudo vi /etc/sysconfig/network-scripts/ifcfg-ens32# 修改：BOOTPROTO=staticONBOOT=yesIPADDR=192.168.183.131NETMASK=255.255.255.0GATEWAY=192.168.183.2DNS1=62.128.128.68DNS2=8.8.8.8

打开Xshell，远程连接三台主机，后续操作就都在Xshell中完成了
分别修改三台主机的主机名并添加主机映射（每一台主机都要做）

# 修改主机名（每台虚拟机上分别修改为wx1 wx2 wx3）
[hadoop@wx ~]$ hostnamectl set-hostname wx1
# 或者：
[hadoop@wx ~]$ sudo vi /etc/hostname# 修改第一行的内容wx1

# 主机映射
[hadoop@wx1 ~]$ sudo vi /etc/hosts# 添加（三台都要添加）192.168.183.131        wx1192.168.183.132      wx2192.168.183.133      wx3

⑦ 免密登录设置

保证任意一台主机都能连接上其他主机。

在Xshell的撰写栏中输入：

# 生成密钥对
[hadoop@wx1 ~]$ ssh-keygen -t rsa#分发公钥
[hadoop@wx1 ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub wx1
[hadoop@wx1 ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub wx2
[hadoop@wx1 ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub wx3# 验证登录
[hadoop@wx1 ~]$ ssh wx1
[hadoop@wx1 ~]$ ssh wx2
[hadoop@wx1 ~]$ ssh wx3

2. 搭建Hadoop完全分布模式

① 修改Hadoop配置文件

修改hadoop-env.sh 配置文件

[hadoop@wx1 hadoop]$ sudo vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh # 修改的内容：# 快速定位： 编辑模式下输入 /JAVA_HOME# The java implementation to use.export JAVA_HOME=/home/hadoop/jdk

修改 core-site.xml 配置文件

[hadoop@wx1 hadoop]$ sudo vi $HADOOP_HOME/etc/hadoop/core-site.xml # 修改的内容：<configuration><property><!-- 注释：网页访问hdfs的接口--><name>fs.defaultFS</name><value>hdfs://wx1:8020</value></property><property><name>hadoop.tmp.dir</name><value>/home/hadoop/hadoop/tmp</value></property></configuration>

修改 hdfs-site.xml 配置文件

[hadoop@wx1 hadoop]$ sudo vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml# 修改的内容：<configuration><property><!--注释：设置节点数，默认值为3--><name>dfs.replication</name><value>2</value></property></confiouration>

修改 mapred-site.xml 配置文件

# 先重命名文件
[hadoop@wx1 hadoop]$ sudo cp ./mapred-site.xml.template ./mapred-site.xml
[hadoop@wx1 hadoop]$ sudo vi ./mapred--site.xml
# 修改的内容：<configuration><property><!--注释：mapreduce运行在yarn框架上--><name>mapreduce.framework.name</name><value>yarn</value></property></confiouration>

修改 yarn-site.xml 配置文件

[hadoop@wx1 hadoop]$ sudo vi ./yarn--site.xml
# 修改的内容：<configuration><property><name>yarn.resourcemanager.hostname</name><value>wx1</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></confiouration>

修改 slaves配置文件

[hadoop@wx1 hadoop]$ sudo vi ./slaves # 添加内容：wx2wx3

③ 分发给其他节点

[hadoop@wx1 ~]$ scp -r /home/hadoop/hadoop hadoop@wx2:/home/hadoop
[hadoop@wx1 ~]$ scp -r /home/hadoop/hadoop hadoop@wx3:/home/hadoop
[hadoop@wx1 ~]$ scp -r /home/hadoop/jdk hadoop@wx2:/home/hadoop
[hadoop@wx1 ~]$ scp -r /home/hadoop/jdk hadoop@wx3:/home/hadoop

④ 在主节点wx1上格式化hdfs并启动hdfs和yarn：

[hadoop@wx1 ~]$ hdfs namenode -format
[hadoop@wx1 ~]$ start-all.sh

⑤分别在三个节点（虚拟机）上验证Hadoop进程，在撰写栏中输入：

[hadoop@wx1 ~]$ jps

主节点wx1上看到的进程包括：

jps
NameNode
SecondaryNameNode
ResourceManager

从节点wx2和wx3上看到的进程包括：

jps
DataNode
NodeManager

⑥通过web访问Hadoop：

需要把IP地址修改为自己主节点的IP
http://192.168.183.131:50070
http://192.168.183.131:50090
http://192.168.183.131:8088

⑦完成后停止Hadoop进程：

[hadoop@wx1 ~]$ stop-all.sh

[hadoop笔记]基于CentOS7虚拟机搭建Hadoop完全分布模式（3个节点）相关推荐

微信棋牌源码虚拟机搭建Hadoop集群
虚拟机搭建Hadoop集群安装包准备操作系统:ubuntu-16.04.3-desktop-amd64.iso 软件包:VirtualBox 安装包:hadoop-3.0.0.tar.gz,jdk ...
利用闲置电脑安装虚拟机搭建hadoop集群
文章目录前言一.虚拟机环境的准备二.连接虚拟机上的集群 1.整理需要连接的端口 2.配置VMware上虚拟机的端口转发 3.测试连接总结前言本人刚开始学习大数据,记录自己的一些学习笔记.大 ...
三台Ubuntu虚拟机搭建 Hadoop集群（第一次搭）
最近因为要搭Hadoop集群,确实花了好大的心血在里面,因为我的Linux也是前两天速成的,好多东西都还是边查资料边搭.但我最终确实成功了,留了一点点小问题在里面.(当Hadoop集群start-al ...
基于阿里云搭建hadoop平台
文章目录 1. 前言 2. 添加hadoop用户 3. 配置/etc/hosts文件 4. 设置ssh免密登录 4.1 安装ssh 4.2 设置免密 5. 安装JDK 6. 安装hadoop 7. 配 ...
虚拟机搭建hadoop
虚拟机搭建hadoop 文章目录虚拟机搭建hadoop 一.搭建centos虚拟机, 1.分区等设置 2.网络ip设置二.安装jdk 1.卸载自带的jdk 2.下载jdk for linux sf ...
基于VMWare虚拟机搭建Linux集群
基于VMWare虚拟机搭建Linux集群 1.虚拟机的安装 2.下载CentOS系统 3.虚拟机安装CentOS系统 4.虚拟机和本机文件通信 5.虚拟机网络配置 6.本机物理机下载Xshell连接操 ...
Mac内CentOS7虚拟机搭建lvs+keepalived+nginx双机主从热备
Mac内CentOS7虚拟机搭建lvs+keepalived+nginx双机主从热备 [目前列出操作大纲,后续复习完善详细配置内容] MAC:00:50:56:38:3D:80 2核4G,硬盘20G ...
虚拟机搭建Hadoop集群学习笔记（1）
1.首先下载安装虚拟机,具体步骤.(提供一个我下载的5.1.26版本,度盘链接没失效的话可以戳这里,key:t6wp) 2.下载系统镜像文件,CentOS-7-x86_64-Minimal-1511. ...
CentOS7上搭建Hadoop集群(入门级)
场景 Hadoop Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架,支持在商品硬件构建的大型集群上运行应用程序.Hadoop是根据Goog ...