1 环境配置

1.1 JDK配置

在这里使用的是Oracle的JDK1.8。

1. 下载安装JDK

2. 配置环境变量

以上两个步骤不再展开赘述。

3. 验证JDK是否安装成功

分别使用

echo $JAVA_HOME

和

java -version

命令查看JDK的版本信息，若二者的信息一致，则证明JDK配置成功。

4. 手动设置系统默认JDK

通常系统默认的jdk为openjdk，在这里需要手动修改系统默认的JDK为我们上文安装的JDK。

在终端依次输入以下命令：

sudo update-alternatives –install /usr/bin/java java JAVA_HOME/bin/java 300

sudo update-alternatives –install /usr/bin/javac javac JAVA_HOME/bin/javac 300

sudo update-alternatives –config java

1.2 SSH无密码登录配置

因为在后面的使用过程中会多次用到SSH密码，为了方便使用，设置SSH的无密码登录。

1.安装SSH

Ubuntu 默认已安装了 SSH client，此外还需要安装 SSH server 。

使用命令

sudo apt-get install openssh-server

2.测试是否安装成功

ssh localhost

输入密码后成功登录，则安装成功。

如下图：

3.设置无密码登录

A.生成密钥对

ssh-keygen -t rsa -P ”-f ~/.ssh/id_rsa

B.生成验证密钥

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

C.修改权限

chmod 0600 ~/.ssh/authorized_keys

4.测试是否设置成功

使用命令

ssh localhost

若能无密码登录，即证明设置成功。

2 下载、安装Hadoop

2.1 下载Hadoop

这里下载的是hadoop-2.6.1.tar.gz版本。

2.2 解压安装

前往安装包所在的目录，解压、安装。

(在这里我安装到/usr/local目录下)

sudo tar -zxvf hadoop-2.6.1.tar.gz -C /usr/local

2.3 修改权限

1.修改目录名

sudo mv hadoop-2.6.1 hadoop

2.修改文件权限

sudo chown -R root ./hadoop

2.4 检查Hadoop是否可用

在hadoop所在安装目录下

./bin/hadoop version

3 Hadoop伪分布式配置

3.1 JDK声明

在hadoop/etc/hadoop/hadoop-env.sh配置文件中添加JAVA_HOME

在最后一行添加JAVA_HOME。

不然会报错如下：

Error: JAVA_HOME is not set and could not be found.

1

Error:JAVA_HOMEisnotsetandcouldnotbefound.

3.2 修改配置文件

1.修改hadoop/etc/hadoop/core-site.xml配置文件

hadoop.tmp.dir

file:/usr/local/hadoop/tmp

Abase for other temporary directories.

fs.defaultFS

hdfs://localhost:9000

1

2

3

4

5

6

7

8

9

10

11

hadoop.tmp.dir

file:/usr/local/hadoop/tmp

Abaseforothertemporarydirectories.

fs.defaultFS

hdfs://localhost:9000

2.修改hadoop/etc/hadoop/hdfs-site.xml配置文件

dfs.replication

1

dfs.namenode.name.dir

file:/usr/local/hadoop/tmp/dfs/name

dfs.datanode.data.dir

file:/usr/local/hadoop/tmp/dfs/data

1

2

3

4

5

6

7

8

9

10

11

12

13

14

dfs.replication

1

dfs.namenode.name.dir

file:/usr/local/hadoop/tmp/dfs/name

dfs.datanode.data.dir

file:/usr/local/hadoop/tmp/dfs/data

3.3 格式化文件系统

先格式化文件系统HDFS。

在Hadoop的安装目录下。

sudo ./bin/hdfs namenode -format

若看到 “successfully formatted” 和 “Exitting with status 0” 的提示则格式化成功，若为 “Exitting with status 1” 则是出错。

如下图：

3.4 启动NameNode守护进程和DataNode守护进程

在Hadoop的安装目录下。

sudo ./sbin/start-dfs.sh

依次启动namenode和datanode，如下图：

3.5 查看Hadoop是否启动成功

在浏览器中输入http://localhost:50070，若能查看namenode和datanode信息，则启动成功，如下图：

4 相关报错问题及解决方法

本次配置中遇到好多问题，具体问题详见下一篇博文。