超详细超简单的搭建三台虚拟机集群

1.vm虚拟机配置
宿主机：真机
NAT模式：（VM虚拟机里面设置）
查看：你的NAT网段和网关是多少？
网段：192.168.136.0/24
网关：192.168.136.2

我的规划：
NN1 192.168.136.200
DN1 192.168.136.201
DN2 192.168.136.202

CETNOS7 NN1 里面配置IP
ifconfig 查看网卡的名字--------ens33

root下面运行：

ifconfig   ens33   192.168.136.200  netmask  255.255.255.0

2.创建hadoop sudu权限

下面的命令在root用户下操作:
创建hadoop用户

useradd  hadoop
passwd  hadoop
vim   /etc/sudoers

插入:

Hadoop ALL=(ALL)    NOPASSWD:ALL

esc键+:wq!保存并退出
esc键+:q!退出
i插入

切换到hadoop用户

su - hadoop      ///”-”是用户环境一同切换过去。
scp /etc/sudoers      root @192.168.136.201:/etc/
scp /etc/sudoers      root @192.168.136.202:/etc/

测试

3.关闭防火墙

sudo systemctl status firewalld.service  //查看防火墙的状态

关闭防火墙：

sudo systemctl stop firewalld.service
sudo systemctl disable firewalld.service

4.配置静态IP

su
vi /etc/sysconfig/network-scripts/ifcfg-ens33

如下图
同理更改DN1,DN2的静态IP，并sudo reboot看是否生效（有IP）

5.修改主机名
NN1 192.168.136.200
DN1 192.168.136.201
DN2 192.168.136.202

查看机器的名称

hostname

修改名称

vim /etc/hostname

将对应的主机名称修改一下

查看名称

cat /etc/hostname

同理更改DN1,DN2

6.修改IP和主机名的映射关系，主机IP映射如下

192.168.78.200 NN1
192.168.78.201 DN1
192.168.78.202 DN2
在下面这个文件里面添加以上内容

vim  /etc/hosts

同理修改DN1,DN2
测试：分别ping 主机的名字 ctl+z退出

安装插件：

yum install -y lrzsz

新建资源目录：

cd /home/
ll
mkdir soft
ll

7.卸载OPENJDK,安装新版JDK
上传jdk和hadoop命令：

rz

查看是否上传成功：

ll

查看以前安装的jdk：

rpm -qa | grep jdk

卸载原有的jdk，再查看：

rpm -e –nodeps +jdk名字

解压jdk：

tar -zxvf +jdk名称

解压hadoop：

tar -zxvf +hadoop名称

查看：

删除安装包，留下解压好的jdk和hadoop：

rm -rf +hadoop名称
rm -rf +jdk名称

修改hadoop和jdk名称：

mv hadoop-2.7.2/ hadoop
mv jdk1.8.0_25/ jdk

8.准备三台CENTOS
完整克隆出另外两台电脑，并把IP，机器名更改后，再分别测试一下。（新手建议不要克隆，三台一起配置，加强记忆）

9.各节点无密钥登录配置（超简单）
1.切换到hadoop用户

su – hadoop

2.生成密钥对，并将公钥加入到授权文件中
输入：

cd  ~/.ssh  （如果没有这个目录，你先执行ssh  localhost就会生成.ssh目录）

输入：

ssh-keygen -t rsa

按三次回车后：

1.在hadoop目录下输入：

ll -a(查看生成的.ssh目录)

2.进入文件目录

cd .ssh

可以看到id_rsa是私钥
id_rsa.pub是公钥（私钥自己用，公钥给其他机器，一个公钥对应一个私钥）
3.将id_rsa.pub复制到新文件authorized_keys文件中：

cat id_rsa.pub >> authorized_keys

4.给这个authrized_keys文件授权为600

chmod 600 authorized_keys

5.在其他节点上执行相同操作（dn1/dn2）
6.将其他节点（DN1/DN2）的authorized_keys的内容直接右键复制到上NN1的authorized_keys文件里面
7.将NN1的authorized_keys直接复制到每个节点的hadoop用户下

scp ~/.ssh/authorized_keys hadoop@DN1:~/.ssh
scp ~/.ssh/authorized_keys hadoop@DN2:~/.ssh

配置JDK
配置环境变量：

vi /etc/profile

添加：

export JAVA_HOME=/home/soft/jdk
export HADOOP_HOME=/home/soft/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

执行文件命令：

source /etc/profile

查看jdk版本：

java -version

配置HDFS
进入hadoop/etc/hadoop/目录下：

cd hadoop/etc/hadoop/

查看有哪些文件：

ll

1.修改core-site.xml命令: vi core-site.xml

<property>
<name>fs.defaultFS</name>
<value>hdfs://NN1:9000</value>  //NN1为主机名
</property>
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/soft/hadoop/tmp</value>
</property>

2.修改hadoop-env.sh文件：vi hadoop-env.sh
添加一句：export JAVA_HOME=”/home/soft/jdk”

3.修改hdfs-site.xml命令：vi hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/soft/hadoop/name</value>
</property>
<property>
<name>dfs.datanode.dir</name>
<value>file:///home/soft/hadoop/data</value>
</property>

4.重命名mapred-site.xml.template更名为mapred-site.xml：

mv  mapred-site.xml.template  mapred-site.xml

修改mapred-site.xml：vi mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

5.修改slaves文件：

vi slaves

将主机名写进去

6.修改yarn-site.xml文件：vi yarn-site.xml

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>NN1:8032</value>
</property>

至此虚拟机配置已经配置好了
新手一枚发现问题，欢迎指正~~

超详细超简单的搭建三台虚拟机集群相关推荐

（超详细）基于Zookeeper的Hadoop HA集群的搭建
基于Zookeeper的Hadoop HA集群的搭建 JunLeon--go big or go home 前言: 高可用(high availability,HA)指的是若当前工作中的机器宕机了,系 ...
超详细版企业离线部署CDH6.10集群与配置使用
进入大数据行业数载,也从一个开发小白走到了今天,期间也历经过一摸番着石头过河的探索,到如今的胸有点墨:玩过demo,使用过负责过上千节点的大数据集群开发与使用:被人面虐过,也面跪过一些人.如今,趁着自 ...
使用nginx搭建三台tomcat集群
环境: 这里使用本地环境完成. 先新建两台centOs7虚拟机,一台装nginx作为反向代理服务器,不会安装的同学请看: 安装nginx(官网下载编译安装)_p&f°的博客-CSDN博客另一 ...
Linux进阶 | 超详细全方面的Docker Swarm Web集群介绍与部署！
创作不易,来了的客官点点关注,收藏,订阅一键三连❤
苹果，U盘越狱iPhone绕ID最新教程及各种坑解决，吐血之作（超详细超简单教程）-balenaEtcher-Checkm8-bootra1n
U盘越狱iPhone绕ID最新教程及各种坑解决,吐血之作(超详细超简单教程)-balenaEtcher-Checkm8-bootra1n 这是安装多个苹果版本及虚拟机版本后成功的教程,由于资源上传到百 ...
一、css清除浮动方法学习笔记总结（超详细，简单易懂）
** css清除浮动方法学习笔记总结(超详细,简单易懂) ** 问题: 上图中,由于container(父级元素)未设置高度,其内部子元素设置了float浮动,导致与container同级(也就是co ...
【嵌入式】超详细的嵌入式路径学习精选合集，建议收藏
超详细的嵌入式路径学习精选合集,纯干货,建议收藏! 本合集归类汇总了嵌入式开发技术相关的学习路径.知识与经验总结,以及一些源码.资料分享等.将其分类列出目录,一来为了避免有些知识长时间不用,会很容易忘 ...
超详细超快的免费图床设置教程
[已失效:Gitee已禁止用户搭建图床]超详细超快的免费图床教程新的图床设置方案:https://blog.csdn.net/qq_44430911/article/details/12514235 ...
数据仓库搭建1-Virtual-box虚拟机集群搭建
数据仓库搭建1-Virtual-box虚拟机集群搭建前言 Virtual-box遇到的问题虚拟机安装虚拟机网络配置安装必要的软件前言我的电脑内存16G,尽量大一点吧,太小的话会在使用的时候 ...

超详细超简单的搭建三台虚拟机集群

超详细超简单的搭建三台虚拟机集群相关推荐

最新文章

热门文章