hadoop安装（三台虚拟机）一些常见问题

现在网络有很多介绍hadoop安装的文章，我也试着按照他们的方法安装，乖乖，这个不行，那个有不行，只能一个一个的找谷老师，谷老师提供的乱七八糟的，最终还是安装上了。我这篇是根据人家写的基础之上写了，仅供参考机器名

机器名称 IP地址作用

Master 10.64.79.153 namenode

Leon03 10.64.79.158 datanode

Leon04 10.64.79.159 datanode

安装虚拟机就不说了，网上有很多教程，大家可以参考一下，注意一点，

(1)在安装ubtuntu时利用apt-get install一些软件时可能出问题，这是由于没有更新的问题，所以首先apt-get update，之后才安装。

(2)还有安装好的三台机器把防火墙给关了，利用sudu ufw disable

(3)若你想修改机器名的话你进/etc/hostname把机器给改了

(4)修改/etc/hosts, vim /etc/hosts把里面全给删了，然后添加

127.0.0.1 localhost

<configuration><property><name>dfs.replication</name><value>2</value></property>
</configuration>

10.64.79.153 master

10.64.79.158 leon03

10.64.79.159 leon04

(4)在三台机器上添加doop用户，即

root@master:~$adduser doop

填好密码，之后要你填一些信息，你可以直接回车

（5）

root@master:~/home$ chown  -R  doop:doop  doop

//将doop文件夹的所用者改成doop用户的。否则我们用adduser doop创建了doop用户后，doop用户不能在自己的主目录下创建文件夹，（如：$mkdir .ssh）提示没有权限创建文件夹。

（6）在三台虚拟机上分别配置ssh无密码登录。（同时要安装openssh-server）

第一步： root@master:~$sudo apt-get install ssh

//开启ssh服务。
第二步: doop@master:~$ mkdir.ssh
在三台虚拟机的/home/doop目录下都用doop用户建立一个.ssh目录
第三步：doop@master:~/.ssh/$ssh-keygen–t dsa–P ’’–f ~/.ssh/id_dsa
//这个命令将为masters上的doop用户生成其密钥对，生成的密钥对id_dsa，id_dsa.pub，默认存储在/home/doop/.ssh目录下。
第四步: doop@master:~/.ssh/$ cat id_dsa.pub >> authorized_keys
//把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys文件是你也可以直接使用cp 命令)。至此无密码登录到本机已经配置好了。

可以使用 $ssh localhost 命令测试一下。第一次登录时要输入yes，之后就不用了。

第五步：

     doop@master:~/.ssh/$scp id_dsa.pub doop@leon03:/home/doop/.ssh/

//将id_dsa.pub 文件传送到leon03这台虚拟机上。Leon04 同理。

第六步：到leon03 这台虚拟机上执行第四步的操作。leon04 同理。至此master就可以无密码登录到leon03 和leon04 上了。如果想要leon03 和leon04 都可以无密码登录到master上必须在leon03 和salve2 上也操作第三部生成自己的密钥对而且要将密钥对追加到三台机器的authorized_keys文件里。至此各个机器上的SSH配置已经完成，可以测试一下了，比如master向leon03发起ssh连接

doop@mater:~/.ssh$ ssh  leon03

OpenSSH告诉你它不知道这台主机，但是你不用担心这个问题，因为你是第一次登录这台主机。键入“yes这将把这台主机的“识别标记”加到“~/.ssh/know_hosts”文件中。二次访问这台主机的时候你会发现不需要输入密码就可以建立ssh连接了，恭喜你，配置成功了。不过，别忘了测试本机ssh localhost (因为后面的Hadoop命令受到这一步。

注意如果你没有成功记住删除“~/.ssh/know_hosts”文件就可以重新开始。

(7). 在三台虚拟机上分别安装jdk1.6

第一步：将jdk-6u13-linux-i586.bin拷到/home/doop目录下

第二步：

        root@master:~/home/doop$chmod u+x jdk-6u13-linux-i586.bin

//将bin文件修改成可执行文件。

第三步：

       root@master:~/home/doop/$./jdk-6u13-linux-i586.bin

//运行安装文件

第四步：

       root@master:~/$gedit /etc/profile

在文件里面加入如下信息。（根据自己安装的情况添加）

              export JAVA_HOME=/home/doop/jdk1.6.0_13export JRE_HOME=/home/doop/jdk1.6.0_13/jreexportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

然后root@master:~/$source /etc/profile 是文件内容生效。

第五步：重启电脑，在任何用户中 $ java–version 如果显示如下信息:

              java version "1.6.0_13"Java(TM) SE Runtime Environment (build 1.6.0_04-b12)Java HotSpot(TM) Client VM (build 10.0-b19, mixed mode,sharing)

说明jdk安装成功。你可以在leon03和leon04 上执行同样的操作，也可以使用$

scp –r 将jdk1.6.0_13文件夹拷到其它两台虚拟机上，然后配置环境变量就OK了。

至此jdk安装成功。注意安装jdk时容易出现的一个问题:第一是安装完成后只有安装时的登录用户可用java其它用户不可用。这样的话你要设置一下/etc/environment 文件。设置方法网上搜索就可以。

(8). 在三台虚拟机上分别安装Hadoop-0.20.1

第一步：将hadoop-0.20.1.tar.gz文件拷贝到/home/doop目录下。

第二步：

          root@master:~/home/doop/$tar -xzvf hadoop-0.20.205.0.tar.gz

//将文件解压。

第三步：

          root@master:~/home/doop/$chown  doop:doop hadoop-0.20.205.0

//将文件所有者改成doop。

第四步：

         root@master:~/home/doop/$gedit /etc/profile

进入文件将如下信息加到文件里

         export HADOOP_HOME=/home/doop/hadoop-0.20.205.0export PATH=$HADOOP_HOME/bin:$PATH

第五步：更改conf目录下的conf/core-site.xml, conf/hdfs-site.xml,conf/mapred-site.xml,conf/hadoop-env.sh,conf/masters,conf/slaves 文件。

root@master:~/home/doop/hadoop-0.20.205.0/conf/$ vim hadoop-env.sh

进入文件加入如下信息。

export   JAVA_HOME=/home/doop/jdk1.6.0_13

root@master:~/home/doop/hadoop-0.20.205.0/conf/$vim masters

进入文件加入如下信息。

10.64.79.153

root@master:~/home/doop/hadoop-0.20.205.0/conf/$ vim slaves

进入文件加入如下信息。

10.64.79.158
10.64.79.159

root@master:~/home/doop/hadoop-0.20.205.0/conf/$vim core-site.xml

root@master:~/home/doop/hadoop-0.20.205.0/conf/$ vim core-site.xml
进入文件加入如下信息。

<configuration><property><name>hadoop.tmp.dir</name><value>/home/doop/tmp</value><description>A basefor other temporary directories.</description>
</property>
<!-- file system properties -->
<property><name>fs.default.name</name><value>hdfs://10.64.79.153:9000</value>
</property>
</configuration>

root@master:~/home/doop/hadoop-0.20.205.0/conf/$ vim hdfs-site.xml
进入文件加入如下信息。(replication默认是3，如果不修改，datanode少于三台就会报错)。

<configuration><property><name>dfs.replication</name><value>1</value></property>
</configuration>

root@master:~/home/doop/hadoop-0.20.205.0/conf/$ vim mapred-site.xml
进入文件加入如下信息。

<configuration>
<property><name>mapred.job.tracker</name><value>10.64.79.153:9001</value>
</property>
</configuration>

第六步：doop@master:~/$ scphadoop-0.20.205.0 doop@leon03:/home/doop/hadoop-0.20.205.0
//将文件hadoop-0.20.205.0拷贝到其它两个虚拟机上就可以了。
至此hadoop安装完成。注意一个问题：运行时出现找不到主函数的错误，说明profile环境变量的设置没有起效。可以在/etc/environment 文件里加入一些信息。具体信息网上搜索。

8.运行hadoop自带的例程 wordcount。
第一步： doop@master:~/hadoop-0.20.205.0/bin/$hadoop namenode–format
//格式化文件系统，新建一个文件系统。
第二步： doop@master:~/hadoop-0.20.205.0/bin$start-all.sh
//启动hadoop的所有守护进程。
第四步： doop@master:~/hadoop-0.20.1/$jps
//查看进程，master虚拟机上的结果。注意查看jps是jdk下的一个小工具，在bin/jps目录下，所以要用最好配置到PATH环境变量，在leon03 和 leon04 虚拟机上doop@leon03:~/hadoop-0.20.205.0/$jps

第四步：(1)先在本地磁盘建立两个输入文件file01 和file02:

第五步： doop@master:~/soft/$echo "Hello World Bye World" > file01
doop@master:~/soft/$ echo "Hello Hadoop Goodbye Hadoop" > file02
//在本地磁盘建立两个输入文件file01 和file02。将Hello World Bye World语句和Hello Hadoop Goodbye Hadoop语句分别加到file01文件和file02 文件里面。
第六步： doop@master:~/hadoop-0.20.1/$./hadoopfs –mkdir input
//在hdfs 中建立一个input 目录
第七步： doop@master:~/hadoop-0.20.20.5.0/bin$./hadoopfs–copyFromLocal /home/doop/soft/file0* input
//将file01 和file02 拷贝到hdfs 中。
第八步： doop@master:~/hadoop-0.20.205.0/bin$./hadoop jar ../hadoop-examples-0.20.205.0.jar wordcount input output
//执行wordcount 这里注意路径问题，我上面加了上层路径，路径不对会出现：

at org.apache.hadoop.util.RunJar.main(RunJar.java:90)
Caused by: java.util.zip.ZipException: error in opening zip fileat java.util.zip.ZipFile.open(Native Method)at java.util.zip.ZipFile.<init>(ZipFile.java:127)at java.util.jar.JarFile.<init>(JarFile.java:135)at java.util.jar.JarFile.<init>(JarFile.java:72)at org.apache.hadoop.util.RunJar.main(RunJar.java:88)

第九步： doop@master:~/hadoop-0.20.205.0/bin$./hadoop fs -cat output/part-r-00000
//完成之后，查看结果：
Bye 1
Goodbye 1
Hadoop 2
Hello 2
World 2

hadoop安装（三台虚拟机）一些常见问题相关推荐

Hadoop简单集群搭建，三台虚拟机运行wordcount
Hadoop简单分布式集群搭建,利用三台虚拟机注:本文用到的hadoop版本是 hadoop-2.5.2,虚拟机是CentOS-6.10,虚拟机安装软件是VMware,java环境是 jdk1.8. ...
Hadoop分布式（最小集群）搭建（三台虚拟机）
Hadoop分布式搭建一.平台准备安装VMware虚拟机平台 Vmware workstation 16 一路next即完成网络配置: VM虚拟网络编辑: 点击更改设置,设置子网IP:192.1 ...
我的Hadoop安装流程
Hadoop安装流程目录 Hadoop安装流程... 1 虚拟机安装设置... 1 设置网卡... 1 共享文件夹... 2 虚拟机安装过程... 2 基础环境安装... 4 赋予用户root权限. ...
Hadoop集群安装及其配置（三台虚拟机）
Hadoop集群安装及其配置(三台虚拟机) 利安装配置前准备--安装虚拟机利用cat查看配置文件修改主机名称配置IP映射配置网卡设备的mac地址 Xshell的安装与配置 ssh的配置 JDK ...
搭建Hadoop完全分布式集群（三台虚拟机）
经常查阅资料搭建Hadoop集群进行hadoop生态组件的学习,于是打算自己做一套完整的资料,方便以后查阅. 一.模板机准备 1.安装虚拟机模板机安装前置工作. 2.三处ip配置第一处:虚拟机ip ...
Mac安装虚拟机，实现三台虚拟机联网
在Mac电脑我们使用VMWare Susion来搭建虚拟机环境,虚拟机搭建过程也比较简单. 之前安装成功之后,结果却把登录账户和密码忘记了, 所以现在需要重新安装一下虚拟机,安装成功虚拟机之后,还需要 ...
Hadoop学习之SSH免密登录配置(以三台虚拟机为例，完全分布式)
目录 1.更改主机名(便于进行操作) 方法一编辑方法二 2.配置SSH免密登录 1.生成秘钥 2.移动秘钥 3.秘钥分配 4.验证免密登录 1.更改主机名(便于进行操作) 本文操作需在root用 ...
使用vagrant搭建三台虚拟机环境
文章目录一.下载安装vagrant 二.下载安装Oracle VM VirtualBox 三.下载virtualbox.box文件四.搭建centos7虚拟机环境五.用xshell测试连接虚拟机 ...
最详细的Hadoop安装教程
最详细的Hadoop安装教程前言 Hadoop 在大数据技术体系中的地位至关重要,Hadoop 是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术道路上走多远. 这是一篇 ...

hadoop安装（三台虚拟机）一些常见问题

hadoop安装（三台虚拟机）一些常见问题相关推荐

最新文章

热门文章