Linux环境下安装配置Hadoop教程

在Linux环境下，安装配置Hadoop教程。

准备工作

1.VMware虚拟机
2.Linux环境：CentOS 7
3.远程登陆：Xshell 6 & Xftp 6
4.Hadoop安装包百度网盘【t0vz】
5.Vim命令

操作	描述
vi 文件名	打开文件
i	编辑
esc	退出编辑
:wq	保存并退出
方向键↑↓←→	控制光标

搭建Hadoop

搭建3个节点的Hadoop的完全分布式，即1个nameNode，2个dataNode，分别如下：

名称	类型	ip地址
CentOS7	nameNode	192.168.44.128
CentOS7-node1	dataNode	192.168.44.129
CentOS7-node2	dataNode	192.168.44.130

1.首先创建好一个CentOS虚拟机，将它作为主节点我这里起名为CentOS-master，名称随意，不固定要求。
此步骤可参考https://blog.csdn.net/q961250375/article/details/101379805.
2. VMware或Xshell 6打开虚拟机，安装配置JDK。不要使用系统自带的openJDK版本。
此步骤可参考https://blog.csdn.net/q961250375/article/details/101434451
3.检查防火墙，若防火墙处于running状态，则执行第4和第5步，否则直接进入第6步。

systemctl status firewalld.service

4.关闭防火墙，命令行：

systemctl stop firewalld.service

5.禁用防火墙，命令行：

systemctl disable firewalld.service

6. 在 /usr/local/ 目录下创建一个hadoop文件夹，命令行：

mkdir /usr/local/hadoop

7. 使用Xftp 6将下载好的hadoop的tar包放到 /usr/local/hadoop 目录下。

8.进入hadoop目录，解压hadoop的tar包，命令行：

// 进入hadoop目录
cd /usr/local/hadoop/
// 解压tar包
tar -zxvf hadoop-2.7.3.tar.gz

9.配置hadoop环境变量，命令行：

vim /etc/profile

输入以下内容，保存并退出。

export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

10.将刚才设置的环境变量生效，命令行：

source /etc/profile

11.任意目录输入 hado ，然后按Tab，如果自动补全为hadoop，则说明环境变量配的没问题，否则检查环境变量哪出错了。

12.在 /usr/local/hadoop/ 目录下创建3个文件夹，命令行：

mkdir /usr/local/hadoop/tmp
mkdir -p /usr/local/hadoop/hdfs/name
mkdir /usr/local/hadoop/hdfs/data

13.进入 /usr/local/hadoop/hadoop-2.7.3/etc/hadoop 目录，里面存放的是hadoop的配置文件，接下来要修改这里面一些配置文件，命令行：

cd /usr/local/hadoop/hadoop-2.7.3/etc/hadoop/

14.其中hadoop-env.sh和yarn-env.sh两个文件需要指定JAVA目录。

vim hadoop-env.sh

将原有的JAVA_HOME注释掉，根据自己的JDK安装位置，精确配置JAVA_HOME如下，保存并退出。

vim yarn-env.sh

加入如下内容，指定JAVA_HOME，保存并退出。

export JAVA_HOME=/usr/local/java/jdk1.8.0_65

15.修改core-site.xml配置文件，命令行：

vim core-site.xml

在configuration标签中，添加如下内容，保存并退出，注意这里配置的hdfs:master:9000是不能在浏览器访问的。

 <property><name> fs.default.name </name><value>hdfs://master:9000</value><description>指定HDFS的默认名称</description></property><property><name>fs.defaultFS</name><value>hdfs://master:9000</value><description>HDFS的URI</description></property><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop/tmp</value><description>节点上本地的hadoop临时文件夹</description></property>

16.修改hdfs-site.xml配置文件，命令行：

vim hdfs-site.xml

在configuration标签中，添加如下内容，保存并退出。

<property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop/hdfs/name</value><description>namenode上存储hdfs名字空间元数据 </description>
</property>
<property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/hdfs/data</value><description>datanode上数据块的物理存储位置</description>
</property>
<property><name>dfs.replication</name><value>1</value><description>副本个数，默认是3,应小于datanode机器数量</description>
</property>

17.将mapred-site.xml.template文件复制到当前目录，并重命名为mapred-site.xml，命令行：

cp mapred-site.xml.template mapred-site.xml

18.修改 mapred-site.xml 配置文件，命令行：

vim mapred-site.xml

在configuration标签中，添加如下内容，保存并退出。

<property><name>mapreduce.framework.name</name><value>yarn</value><description>指定mapreduce使用yarn框架</description>
</property>

19.修改 yarn-site.xml 配置文件，命令行：

vim yarn-site.xml

在configuration标签中，添加如下内容，保存并退出。

<property><name>yarn.resourcemanager.hostname</name><value>master</value><description>指定resourcemanager所在的hostname</description>
</property>
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value><description>NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序</description>
</property>

20.修改 slaves 配置文件，命令行：

vim slaves

将localhost删掉，加入如下内容，即dataNode节点的主机名。

node1
node2

21.将虚拟机关闭，再克隆两份虚拟机，重命名为如下，注意这里一定要关闭虚拟机，再复制。

下面是克隆虚拟机教程。

22. 将3台虚拟机都打开，后两台复制的虚拟机打开时，都选择【我已复制该虚拟机】。

23.修改hostname。
在master机器上，将localhost改为master，保存并退出。
注意，修改hostname后重启虚拟机。

vim /etc/hostname

在node1机器上，将localhost改为node1，保存并退出。

在node2机器上，将localhost改为node2，保存并退出。

24.3台虚拟机分别修改hosts文件，其作用是将一些常用的网址域名与其对应的IP地址建立一个关联，当用户在访问网址时，系统会首先自动从Hosts文件中寻找对应的IP地址。

vim /etc/hosts

host文件添加以下内容，3台虚拟机都要配置！

192.168.44.128 master
192.168.44.129 node1
192.168.44.130 node2

25.在master机器上创建一个无密码公钥，-t是类型的意思，dsa是生成的密钥类型，-P是密码，’’表示无密码，-f后是秘钥生成后保存的位置。

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

26.在master机器上将公钥id_dsa.pub添加进keys，这样就可以实现无密登陆ssh。

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

27.在master机器上测试免密码登陆。

ssh master

如果有询问，则输入 yes ，回车

28.在node1和node2主机上都执行以下命令行：

mkdir ~/.ssh

29.在master机器上将主节点的公钥信息导入node1和node2节点，导入时要输入一下node1和node2机器的登陆密码。

scp ~/.ssh/authorized_keys root@node1:~/.ssh/authorized_keys

scp ~/.ssh/authorized_keys root@node2:~/.ssh/authorized_keys

30.在3台虚拟机上分别赋予密钥文件权限。

chmod 600 ~/.ssh/authorized_keys

31.在master节点上分别测试node1和node2是否配置ssh成功。

ssh node1

ssh node2

32.如果node节点还没有hadoop，则master机器上分别输入如下命令将hadoop复制。

scp -r /usr/local/hadoop/ root@node1:/usr/local/

scp -r /usr/local/hadoop/ root@node2:/usr/local/

若node节点有hadoop，则此步骤跳过。

33.在master机器上，格式化namenode，第一次使用需格式化一次，之后就不用再格式化，如果改一些配置文件了，可能还需要再次格式化。

hdfs namenode -format

出现以下信息表示格式化完成。

34.在master机器上，进入hadoop的sbin目录，启动hadoop，命令行：

cd /usr/local/hadoop/hadoop-2.7.3/sbin

./start-all.sh

遇到确认操作，输入yes，回车。

35.输入 jps 查看当前java的进程，该命令是JDK1.5开始有的，作用是列出当前java进程的PID和Java主类名，nameNode节点除了JPS，还有3个进程，启动成功。

36.在node1机器和node2机器上分别输入 jps 查看进程如下，说明配置成功。

37.在浏览器访问nameNode节点的8088端口和50070端口可以查看hadoop的运行状况。

http://192.168.44.128:8088
http://192.168.44.128:50070

38.在master机器上，进入hadoop的sbin目录，输入 ./stop-all.sh 即可关闭hadoop。

./stop-all.sh

测试Hadoop文件上传

1.在根目录下创建一个hello.txt测试文本，命令行：

vim hello.txt

2.使用hadoop命令：

hadoop fs -put hello.txt /

3.访问【http://192.168.44.128:50070】，选择【Utilities】下的【Browse the file system】。

至此，Hadoop的所有安装配置过程完成。