Hadoop配置

一、准备工作

1.下载虚拟机，安装centos

在VM中新建4台虚拟机（内存建议2-4G）
VMware14下载提取码：e6dn
centos6.8和centos7下载提取码：4u28

2.下载 xshell xftp

修改文件时：按i进入修改模式，esc退出修改模式，输入：wq保存
xshell和xftp下载提取码：h9r1

3.下载Hadoop jdk

hadoop和jdk下载提取码：6a4o

(下面的步骤二三四在四台centos上都要操作一遍)

二、centos联网设置静态IP

输入账户名和密码

进入etc目录，查看文件

输入 ① cd /etc ②ls

修改ifcfg-ens33文件

输入 vi /etc/sysconfig/network-scripts/ifcfg-ens33

将 dhcp改为static，no改为yes
在倒数第二行后添加
①ip地址②网关③子网掩码
注意：①IP 网关子网掩码在虚拟网络编辑器里查看
②IP地址最后一位不能与子网掩码相同，此处我设置的是100
（四台centos的IP不能相同，修改方法一样）

修改resolv.conf文件

输入 vi /etc/resolv.conf
输入 nameserver 114.114.114.114

刷新网络

输入 service network restart

--------------------------------------------------------------------------------

IP地址的问题：

如果查找的ip地址无法连接，就重新配置网络，即下图中左下角的恢复默认设置(VM左上角编辑——虚拟网络编辑器)
然后取消“使用本地DHCP”的勾选，并将ip地址改为如图所示，最后点击应用并确定

上图界面点击NAT设置进入下图界面
IPADDR为ip地址设置为192.168.48.****（在设置centosip和本机ip4协议（文末详解）时最后一位不能与这儿相同） NETMASK GATEWAY分别对应子网掩码网关ip

测试网络

输入 ping www.baidu.com

至此，网络配置完成

三、修改hostname

修改hostname文件
（修改为hadp01/hadp02/hadp03/hadp04）

输入 vi /etc/hostname

重启虚拟机 reboot

修改成功

四、连接xshell和xftp

连接xshell

可能出现连接不上：见文末的问题解决
①输入主机名
②输入用户名root及密码

连接xftp

五、同时操作四台centos

打开xshell，连接到四台centos

利用工具，同时对四台centos操作，进行修改文件等操作

注意：这样一来，后面就不用将配置文件由主机发送到其他三台机器，因为是同时操作，文件都被修改了。

六、配置主机名

修改 host文件
输入 vi /etc/hosts
在文件末尾加入如下内容
（不同的机器ip不同）

192.168.11.101 hadp01
192.168.11.102 hadp02
192.168.11.103 hadp03
192.168.11.104 hadp04

同时修改Windows系统的host文件(C:\Windows\System32\drivers\etc)
加入同样代码

七、关闭防火墙

systemctl status firewalld.service查看防火墙状态。
执行后如果看到绿色字样标注的“active（running）”，说明防火墙是开启状态。

systemctl disable firewalld.service
禁止防火墙服务器，可以将防火墙永久关闭。
reboot重启CentOS系统，使设置生效
再次查看防火墙状态systemctl status firewalld.service

八、传输解压Hadoop jdk文件

利用xftp 将本地Hadoop jdk文件传输到虚拟机里
进入 home目录下，新建目录
mkdir -p /home/root/apps

在xftp里，拖入文件到右侧

查看root下的文件，出现Hadoop jdk 即为传输成功

解压 Hadoop jdk

执行命令
tar -xzvf hadoop-2.9.2.tar.gz -C apps/
tar -xzvf jdk-8u201-linux-x64.tar.gz -C apps/

进入apps里查看解压是否成功

九、配置Hadoop jdk环境变量

进入/etc/profile里添加环境变量
输入 vi /etc/profile
在末尾添加

export JAVA_HOME=/home/root/apps/jdk1.8.0_201
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/home/root/apps/hadoop-2.9.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

source /etc/profile

让/etc/profile文件修改后立即生效
查看是否添加变量成功
输入 Java -version
Hadoop version

十、配置SSH免密登录

在hadp01上执行ssh-keygen -t
rsa生成公私钥，按三次回车键，执行完毕后，
将在用户主目录下生成.ssh文件夹，其中包括公私钥文件。
ssh-copy-id -i ~/.ssh/id_rsa.pub
hostname把公钥发送到各服务器端
(hostname为hadp01-04，发送前要保证各服务器已通过root用户登录)
即依次输入

ssh-copy-id -i ~/.ssh/id_rsa.pub hadp01
ssh-copy-id -i ~/.ssh/id_rsa.pub hadp02
ssh-copy-id -i ~/.ssh/id_rsa.pub hadp03
ssh-copy-id -i ~/.ssh/id_rsa.pub hadp04

一般情况下，只需保证hadp01可以SSH免密登录其它机器即可。

十一、配置Hadoop文件

① vi core-site.xml编辑core-site.xml文件

fs.defaultFS：1)指定hadoop的文件系统,默认值为file:///，表示本地文件系统，2）指定hdfs的namenode节点为哪台机器
hadoop.tmp.dir：默认值为/tmp/hadoop-${user.name}，当CentOS系统重启后，由于/tmp目录内容会被清除，可能导致Hadoop无法正常启动，建议在第一次安装时修改默认值。当Hadoop系统运行后再修改，需要重新格式化namenode才有效。

<property><name>fs.defaultFS</name><value>hdfs://hadp01:9000</value>
</property>
<property><name>hadoop.tmp.dir</name><value>/home/root/apps/hadoop-2.9.2/tmp</value>
</property>

② vi hdfs-site.xml编辑hdfs-site.xml文件

dfs.name.dir：指定namenode软件存储元数据的本地目录
dfs.data.dir：指定datanode软件存放文件块的本地目录
dfs.namenode.secondary.http-address：指定SecondaryNamenode的地址，一般要与Namenode分开

<property><name>dfs.name.dir</name><value>/root/hdfs/name</value>
</property>
<property><name>dfs.data.dir</name><value>/root/hdfs/data</value>
</property>
<property><name>dfs.namenode.secondary.http-address</name><value>hadp02:50090</value>
</property>
<property><name>dfs.namenode.secondary.https-address</name><value>hadp02:50091</value>
</property>

③cp mapred-site.xml.template mapred-site.xml根据模板创建mapred-site.xml文件

vi mapred-site.xml 编辑mapred-site.xml文件
mapreduce.framework.name：指定资源管理器，默认值是local，应该修改为yarn

<property><name>mapreduce.framework.name</name><value>yarn</value>
</property>

④ vi yarn-site.xml编辑yarn-site.xml文件

yarn.nodemanager.aux-services：指定辅助服务
yarn.resourcemanager.hostname：指定resourcemanager的地址（一定要配置为hadp01，系统启动时，由于脚本问题，只会从运行脚本的机器上启动resourcemanager）
yarn.nodemanager.resource.memory-mb：NM总的可用物理内存，以MB为单位，默认值为8192，可以设为2048
yarn.nodemanager.resource.cpu-vcores：NM可分配的CPU个数，默认值为8，可以设为2

<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>
</property>
<property><name>yarn.resourcemanager.hostname</name><value>hadp01</value>
</property>
<property><name>yarn.nodemanager.resource.memory-mb</name><value>2048</value>
</property>
<property><name>yarn.nodemanager.resource.cpu-vcores</name><value>2</value>
</property>

⑤ vi slaves编辑slaves文件，设置运行datanode的机器

hadp01
hadp02
hadp03
hadp04

⑥ 编辑 .sh文件

vi hadoop-env.sh编辑hadoop-env.sh文件

将默认的
export JAVA_HOME=${JAVA_HOME}
替换为export JAVA_HOME=/home/root/apps/jdk1.8.0_201

vi yarn-env.sh编辑yarn-env.sh文件

将默认的
export JAVA_HOME=${JAVA_HOME}
替换为export JAVA_HOME=/home/root/apps/jdk1.8.0_201

⑦格式化namenode ./hadoop namenode -format

只在hadp01上执行此代码

进入Hadoop的bin目录下执行

十二、启动Hadoop 测试Hadoop

进入sbin目录下，启动Hadoop ./start-all.sh

====

停止Hadoop
./stop-all.sh

可能出现的问题:

问题一：ifconfig命令找不到

解决方法：
可能是由于最小安装没有自带一些安装包，因此使用yum安装ifconfig
①查看ifconfig是在哪一个包里
②安装这个包（有选项是输入 Y）

yum search ifconfig
yum install net-tools.x86_64

问题二：xshell连接不上

解决方法：配置主机的vm8网卡的ip4协议，配置的ip要和centos在同一个网段，即前三位相同，最后一位不相同。（防止冲突）

找到电脑的更改适配器设置

右键vmnet8，点击属性

点击Internet协议版本4，点击属性

输入刚刚查看到的子网IP 子网掩码网关IP，但是子网IP最后一位不能与刚刚记住的那个IP最后一位相同

配置DNS（也可以不配）

点击应用

在此感谢以下博主的博客给我的指导

https://blog.csdn.net/weixin_34072857/article/details/85974347

https://www.cnblogs.com/aeolian/p/8882790.html

基于CentOs下的Hadoop完全分布式集群环境搭建相关推荐

王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第五讲Hadoop图文训练课程：解决典型Hadoop分布式集群环境搭建问题
王家林的"云计算分布式大数据Hadoop实战高手之路---从零开始"的第五讲Hadoop图文训练课程:解决典型Hadoop分布式集群环境搭建问题参考文章: (1)王家林的&quo ...
Hadoop2.x部署之完全分布式集群环境搭建
一.分布式部署概述 Hadoop环境的搭建有三种方式: 本地环境搭建伪分布式环境搭建完全分布式环境搭建集群在前面的文章中,详细描述了如何搭建本地环境[https://blog.csdn.net/qq ...
redis分布式集群环境搭建
redis 分布式集群可分为主从集群.哨兵集群.分片集群,本片文章我们就来分别介绍这三种集群环境的搭建. 本次搭建环境为 Linux 虚拟机系统. 在搭建 redis集群之前,需要先在 linux 系 ...
Hadoop伪分布式集群的搭建
一.准备虚拟机 1.从网上将VMware下载下来 https://www.vmware.com/content/dam/digitalmarketing/vmware/en/images/galler ...
hadoop(八) - hbase集群环境搭建
1. 上传hbase安装包hbase-0.96.2-hadoop2-bin.tar.gz 2. 解压 tar -zxvf hbase-0.96.2-hadoop2-bin.tar.gz -C /clo ...
基于阿里云ECS服务器的k8s集群环境搭建
前言: 网上搭建k8s的文章很多,但很多都无法按其说明在阿里云ecs服务器成功搭建,所以我就花了些时间基于自己成功搭建k8s的步骤写了个操作手册,希望对想搭建k8s环境的盆友有所帮助. 声明: ...
Hadoop 2.7集群环境搭建
系统拓扑角色 ip地址 hdfs yarn Master 10.0.0.201 NameNode ResourceManager slave 10.0.0.202 DataNode NodeMana ...
大数据第一天 Hadoop01-入门集群环境搭建
Hadoop01-入门&集群环境搭建今日内容 Hadoop的介绍集群环境搭建准备工作 Linux命令和Shell脚本增强集群环境搭建大数据概述大数据: 就是对海量 ...
『实践』VirtualBox 5.1.18+Centos 6.8+hadoop 2.7.3搭建hadoop完全分布式集群及基于HDFS的网盘实现...
『实践』VirtualBox 5.1.18+Centos 6.8+hadoop 2.7.3搭建hadoop完全分布式集群及基于HDFS的网盘实现 1.基本设定和软件版本主机名 ip 对应角色 mas ...

基于CentOs下的Hadoop完全分布式集群环境搭建