Hadoop2.7.3伪分布式集群搭建

CentOS6.5安装教程：https://blog.csdn.net/qq_38741971/article/details/80393275

一、删除CentOS本机自带的JDK

1.查看当前本机安装的jdk版本

rpm -qa|grep jdk

2.切换到root用户下，获取一定的权限

su root

3.分别运行下方命令删除本机自带的jdk版本

rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64

4.再次运行rpm -qa|grep jdk 确认是否删除完毕

rpm -qa|grep jdk

5.运行whereis java查看java的安装目录

whereis java

6.分别使用rm -rf *，删除所有的安装文件夹，再次运行whereis java确认是否删除完毕

rm -rf /etc/java
rm -rf /usr/lib/java
rm -rf /usr/share/java

二、关闭防火墙

1.分别使用命令关闭防火墙

chkconfig iptables off
chkconfig ip6tables off

2.分别运行命令查看防火墙状态，确认防火墙关闭

chkconfig iptables --list
chkconfig ip6tables --list

3.使用ifconfig查看自己的ip信息，并且记住

4.回到window界面，键盘快捷键win+r,打开运行窗口，输入cmd,打开dos窗口

5.使用命令ping虚拟机ip：ping xxx.xxx.xxx.xxx

6.出现上述信息，代表主机可以与虚拟机通信

jdk-1.8u172下载：

链接：https://pan.baidu.com/s/1fNMjBhu6a-c5Js-6xgya8A 密码：6z7b

hadoop2.7.3下载：

链接：https://pan.baidu.com/s/1G_47KpTaUwhCqFKYFseGQA 密码：n11x

Filezilla下载：

链接：https://pan.baidu.com/s/1msZQ8f39u2i1ZSsCjV-6pQ 密码：mrcx

三、使用FileZilla传输我们需要的软件

14.切换回普通用户hadoop

su hadoop

15.回到普通用户的家目录下

cd

16.可以使用命名确认一下当前目录

pwd

mkdir soft

18.打开Filezilla,输入虚拟机的ip地址，普通用户名，密码，端口号22，快速链接

19.选择我们需要传送的文件，和指定CentOS接收文件的地址/home/hadoop/soft,将hadoop2.7.3和jdk-8u172传到CentOS

20.关闭Filezilla,回到虚拟机下

21.查看文件是否传入，失败重复18~20步骤

cd soft
ls

`四、解压配置JDK`

1.将jJDK解压

tar -zxvf jdk-8u172-linux-x64.tar.gz

2.回到当前用的家目录下

cd

3.配置环境变量

vim .bash_profile

4.光标移到最后一行，按下o,输入

export JAVA_HOME=/home/hadoop/soft/jdk1.8.0_172
export PATH=$JAVA_HOME/bin:$PATH

5.按下esc,输入:wq，保存退出

6.source .bash_profile刷新下配置文件

7.使用javac -version查看JDK是否配置成功

五、配置免密码登录

1.切换到root用户下，编辑/etc/hosts,将本机的ip地址与主机名绑定

su root
vim /etc/hosts

2.切换回普通用户hadoop

su hadoop

3.开始配置免密，生成密钥和公钥

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

4.将公钥追加到认证库中

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

5.修改认证库的访问权限

chmod 0600 ~/.ssh/authorized_keys

6.测试免密登录

ssh 本机ip

第一次登录，仅需要需要yes即可，到此，免密完成

六、安装hadoop，搭建Hadoop伪分布式集群

1.进入soft目录

cd /home/hadoop/soft

2.解压hadoop2.7.3

tar -zxvf hadoop-2.7.3.tar.gz

3.将hadoop-2.7.3重新命名为hadoop

mv hadoop-2.7.3 hadoop

4.切换目录

cd /home/hadoop/soft/hadoop/etc/hadoop

5.编辑hadoop-env.sh文件,修改hadoop依赖的JAVA_HOME

vim hadoop-env.sh

6.编辑core-site.xml文件，加入下方内容

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>

7.编辑hdfs-site.xml,加入下方内容

<configuration><property><name>dfs.replication</name><value>1</value></property>
</configuration>

8.配置hadoop环境变量

cd
vim .bash_profile

在文件下方追加

export HADOOP_HOME=/home/hadoop/soft/hadoop
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

按下esc,输入:wq，保存退出编辑

9.刷新配置文件

source .bash_profile

10.格式化namenode

hdfs namenode -format

出现红框位置信息，配置正确

10.启动hdfs

start-dfs.sh

11.查看启动的进程数

jps

出现上面四个进程，表示hdfs启动成功

12.可以在虚拟机内打开浏览,输入

http://master:50070/
http://localhost:50070/
http://10.1.199.229:50070/

能出现下述界面，至此hadoop伪分布式搭建成功

13.在window下翻墙，进入目录：C:\Windows\System32\drivers\etc

14.右键hosts文件，选择属性

15.切换到安全选项卡，选中当前window用户，选择编辑

16.对Users的权限赋予完全控制，修改，读取和执行，读取，执行。

17.打开hosts文件，在空白处追加

10.1.199.229     master

18.windows浏览器界面也能够打开

http：//master:50070/
http：//10.1.199.229:50070/