Hadoop安装与环境配置

文章目录

Hadoop安装与环境配置
一、任务概述
二、实验目的
三、实验过程详细描述

一、任务概述

1．虚拟机的安装vmware/virtual box。
2．在虚拟机上安装ubuntu 。
3．安装配置linux环境，创建用户与权限设置。
4．安装JDK
5．安装Hadoop2.0 运行测试例子

二、实验目的

1．掌握虚拟机上安装ubuntu6.0。
2．熟悉linux的基本操作。
3．熟悉hadoop开发环境的安装与测试。

三、实验过程详细描述

创建新用户：

使用如下命令设置密码，可简单设置为 hadoop，按提示输入两次密码：
（原密码为1，现在改为123）

为 hadoop 用户增加管理员权限，方便部署：

更新apt：

更改一些配置文件：

安装SSH、配置SSH无密码登陆：

登陆本机：

退出刚才的 ssh，就回到了我们原先的终端窗口，然后利用 ssh-keygen 生成密钥，并将密钥加入到授权中：

加入授权：

安装JDK：

移动jdk到下载文件下面：

sudo mkdir jvm #创建/usr/lib/jvm目录用来存放JDK文件：

sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm #把JDK文件解压到/usr/lib/jvm目录下：

JDK文件解压缩以后，可以执行如下命令到/usr/lib/jvm目录查看一下：

设置环境变量：

输入java -version，检查是否安装成功：

安装Hadoop 2：
将 Hadoop 安装至 /usr/local/ 中：

将文件夹名改为hadoop，修改文件权限：

检测是否成功，即输入检查版本的信息：

Hadoop单机配置(非分布式):

运行 grep 例子，我们将 input 文件夹中的所有文件作为输入，筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数，最后输出结果到 output 文件夹中：

Hadoop 默认不会覆盖结果文件，因此再次运行上面实例会提示出错，需要先将 ./output 删除。

Hadoop伪分布式配置:
修改配置文件 core-site.xml (通过 gedit 编辑会比较方便: gedit ./etc/hadoop/core-site.xml):

修改配置文件 hdfs-site.xml：

配置完成后，执行 NameNode 的格式化:

开启 NameNode 和 DataNode 守护进程:

启动完成后，可以通过命令 jps 来判断是否成功启动，若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”:

成功启动后，可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。

运行Hadoop伪分布式实例
上面的单机模式，grep 例子读取的是本地数据，伪分布式读取的则是 HDFS 上的数据。要使用 HDFS，首先需要在 HDFS 中创建用户目录：

接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中，即将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中。我们使用的是 hadoop 用户，并且已创建相应的用户目录 /user/hadoop ，因此在命令中就可以使用相对路径如 input，其对应的绝对路径就是 /user/hadoop/input:

复制完成后，可以通过如下命令查看文件列表：

伪分布式运行 MapReduce 作业的方式跟单机模式相同，区别在于伪分布式读取的是HDFS中的文件（可以将单机步骤中创建的本地 input 文件夹，输出结果 output 文件夹都删掉来验证这一点）。
结果如下，注意到刚才我们已经更改了配置文件，所以运行结果不同。

我们也可以将运行结果取回到本地：

Hadoop 运行程序时，输出目录不能存在，否则会提示错误 “org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/user/hadoop/output already exists” ，因此若要再次执行，需要执行如下命令删除 output 文件夹:

要关闭 Hadoop，则运行:

YARN
修改配置文件 mapred-site.xml，这边需要先进行重命名：

然后就可以启动 YARN 了:

开启后通过 jps 查看，可以看到多了 NodeManager 和 ResourceManager 两个后台进程，如下图所示。

关闭 YARN 的脚本如下: