linux搭建hdfs

搭建hdfs分布式集群

1、设置静态IP

设置静态IP
https://blog.csdn.net/weixin_42119153/article/details/100124300#commentBox

2、安装jdk

安装jdk
https://blog.csdn.net/weixin_42119153/article/details/100125845

3、设置ssh无密码登录

设置ssh无密码登录
https://blog.csdn.net/weixin_42119153/article/details/100126037

4、安装hadoop

1、解压hadoop-2.7.7.tar.gz

1）将下载的hadoop-2.7.7.tar.gz上传至/home/hadoop 目录
2）解压

[hadoop@hadoop01 ~]$ tar -zxvf  hadoop-2.7.7.tar.gz

3）重命名文件件 hadoop-2.7.7为 hadoop2.7

[hadoop@hadoop01 ~]$ mv hadoop-2.7.7 hadoop2.7

4）使用 root 用户配置 hadoop 环境变量（三台机器都要配置）

[root@hadoop01 hadoop2.7]# vi /etc/profile

5）配置hosts映射（三台机器都要配置）

[root@hadoop01 hadoop2.7]# vi /etc/hosts

2、配置 hadoop 文件中相应的文件

这里使用的是hadoop用户
需要配置的文件如下，hadoop-env.sh，core-site.xml，hdfs-site.xml，slaves，所有的文件配置均位于hadoop2.7.1/etc/hadoop下面，具体需要的配置如下：
1）配置/home/hadoop/hadoop2.7/etc/hadoop目录下的core-site.xml

[hadoop@hadoop01 ~]$ vi hadoop2.7/etc/hadoop/core-site.xml

<configuration><property><name>fs.defaultFS</name><value>hdfs://hadoop01:9000</value></property><property><name>hadoop.tmp.dir</name><value>/home/hadoop/tmp</value></property>
</configuration>

在/home/hadoop 目录下新建文件夹tmp
注意：hadoop.tmp.dir是hadoop 文件系统依赖的配置文件。默认是在 /tmp 目录下的，而这个目录下的文件，在Linux系统中，重启之后，很多都会被清空。所以我们要手动指定这写文件的保存目录。
这个目录路径要么不存在，hadoop启动的时候会自动帮我们创建；要么是一个空目录，不然在启动的时候会报错。
2）配置/home/hadoop/hadoop-2.7/etc/hadoop目录下的hdfs-site.xml

[hadoop@hadoop01 ~]$ vi hadoop2.7/etc/hadoop/hdfs-site.xml

 <property><name>dfs.namenode.name.dir</name><value>/home/hadoop/data/name</value></property><property><name>dfs.datanode.data.dir</name><value>/home/hadoop/data/data</value></property><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.namenode.secondary.http-address</name><value>hadoop02:50090</value></property>

注意：dfs.replication 是配置文件保存的副本数；dfs.namenode.secondary.http-address 是指定 secondary 的节点。
3）配置/home/hadoop/hadoop-2.7/etc/hadoop目录下hadoop-env.sh 的JAVA_HOME

[hadoop@hadoop01 ~]$ vi hadoop2.7/etc/hadoop/hadoop-env.sh

设置 JAVA_HOME 为自己在系统中安装的 JDK 目录

4）配置/home/hadoop/hadoop-2.7/etc/hadoop目录下的slaves，删除默认的localhost，增加3个从节点

[hadoop@hadoop01 ~]$  vi hadoop2.7/etc/hadoop/slaves

5）指定 SecondaryNameNode 节点
在 /home/hadoop/hadoop2.7/etc/hadoop 目录下手动创建一个 masters 文件

[hadoop@hadoop01 hadoop]$ vi masters

3、将配置好的 hadoop 文件上传给其它三个节点

[hadoop@hadoop01 ~]$ scp -r /home/hadoop hadoop@192.168.146.211:/home/
[hadoop@hadoop01 ~]$ scp -r /home/hadoop hadoop@192.168.146.212:/home/

4、启动 hadoop

在master服务器启动hadoop，从节点会自动启动，进入/home/hadoop/hadoop2.7目录
1）输入初始化命令：

[hadoop@hadoop01 hadoop2.7]$ bin/hdfs namenode -format

2）启动hdfs 命令：

[hadoop@hadoop01 hadoop2.7]$ sbin/start-dfs.sh

3）停止命令，sbin/stop-dfs.sh
4）输入命令，jps，可以看到相关信息

5、访问界面

1）关闭防火墙
临时关闭

[root@hadoop01 hadoop2.7]# service iptables stop

永久关闭

[root@hadoop01 hadoop2.7]# chkconfig iptables off

2）访问NameNode 节点信息：http://192.168.146.210:50070