Ubuntu下 Hadoop 1.2.1 配置安装

http://blog.csdn.net/wyswlp/article/details/10564847

尝试进入大数据领域开发，从目前最火的Hadoop入手是必须的，本文一步步记录了 Ubuntu 环境安装Hadoop 1.2.1 ,搭建单机模式以及伪分布式模式，希望对各位和我一样的菜鸟有所帮助，共同学习进步，欢迎交流。尝试2.1安装失败，由于文件结构不太一样缺乏相关资料，也非做运维的，遂放弃改用成熟的hadoop 1.2.1版本。

----------------------------------------单机模式-----------------------------------------

下载：hadoop-1.2.1.tar.gz

解压：

[plain] view plaincopy

tar -xzvf hadoop-1.2.1.tar.gz

转移：

[plain] view plaincopy

mv hadoop-1.2.1/ /opt

进入conf文件配置环境变量

让环境变量配置生效source，是source,不是sh,补充下sh和.的区别，参考

[plain] view plaincopy

source hadoop-env.sh

检测是否安装成功

[html] view plaincopy

单机版hadoop安装成功，测试一下

[html] view plaincopy

mkdir input

[html] view plaincopy

cp -R conf input/

运行wordcount程序并将结果保存到output

hadoop hadoop-examples-1.2.1.jar

错误: 找不到或无法加载主类 hadoop-examples-1.2.1.jar

hadoop jar hadoop-examples-1.2.1.jar wordcount input output 发现错误，粗心害死猫....修改后运行,OK!

单机模式成功，接下来搭建伪分布式

-------------------------------------------华丽的分割线伪分布式-----------------------------------------

[plain] view plaincopy

dat@dat-HP:/opt/hadoop-1.2.1$ mkdir tmp
dat@dat-HP:/opt/hadoop-1.2.1$ mkdir hdfs
dat@dat-HP:/opt/hadoop-1.2.1$ mkdir hdfs/name
dat@dat-HP:/opt/hadoop-1.2.1$ mkdir hafs/data

编辑core-site.xml

[plain] view plaincopy

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-1.2.1/tmp</value>
</property>
</configuration>

hdfs-site.xml:

[plain] view plaincopy

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/opt/hadoop-1.2.1/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/opt/hadoop-1.2.1/hdfs/data</value>
</property>
</configuration>

mapred-site.xml:

[plain] view plaincopy

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

格式化HDFS(建议只格式化一次，多次格式化据传后边会引起问题，本人没有尝试...):

[plain] view plaincopy

dat@dat-HP:/opt/hadoop-1.2.1/conf$ source hadoop-env.sh
dat@dat-HP:/opt/hadoop-1.2.1/conf$ hadoop namenode -format

启动Hadoop:

执行执行bin/start-all.sh来启动所有服务，包括namenode,datanode，start-all.sh脚本用来装载守护进程

[plain] view plaincopy

dat@dat-HP:/opt/hadoop-1.2.1/bin$ start-all.sh

用java的jps命令验证是否安装成功：

[plain] view plaincopy

dat@dat-HP:/opt/hadoop-1.2.1$ jps

少一个DataNode进程没有启动，通过查看上边现实的路径下的日志发现：

很明显，data文件夹的权限不对，修改权限：

[plain] view plaincopy

dat@dat-HP:/opt/hadoop-1.2.1/hdfs$ chmod 755 data

关闭hadoop,重新启动：

[plain] view plaincopy

dat@dat-HP:/opt/hadoop-1.2.1/bin$ stop-all.sh

[plain] view plaincopy

dat@dat-HP:/opt/hadoop-1.2.1/bin$ start-all.sh

[plain] view plaincopy

dat@dat-HP:/opt/hadoop-1.2.1/bin$ jps

6个进程全部启动了，此时安装正常，可以进行Hadoop的相关操作了。

检查运行状态：可以通过下面的操作来查看服务是否正常，在Hadoop中用于监控集群健康状态的Web界面

http://localhost:50030/ - Hadoop 管理介面
http://localhost:50060/ - Hadoop Task Tracker 状态
http://localhost:50070/ - Hadoop DFS 状态

hadoop的伪分布模式已经安装成功，再次在伪分布模式下运行一下WordCount来感受MapReduce过程：

这时注意程序是在文件系统dfs运行的，创建的文件也都基于文件系统：

首先在dfs中创建input目录

[plain] view plaincopy

dat@dat-HP:/opt/hadoop-1.2.1/conf$ hadoop dfs -mkdir input
Warning: $HADOOP_HOME is deprecated.

将conf中的文件拷贝到dfs中的input

[plain] view plaincopy

dat@dat-HP:/opt/hadoop-1.2.1$ hadoop dfs -copyFromLocal conf/* input

在伪分布式模式下运行WordCount

[plain] view plaincopy

dat@dat-HP:/opt/hadoop-1.2.1$ hadoop jar hadoop-examples-1.2.1.jar wordcount input output

INFO mapred.JobClient: map 100% reduce 0% 到这里卡死不动了。

解决办法：查询鸟文论坛帖子（http://stackoverflow.com/questions/10165549/hadoop-wordcount-example-stuck-at-map-100-reduce-0）发现，修改/etc/hosts文件，加入主机名和IP地址的映射。

检查主机名：

[plain] view plaincopy

dat@dat-HP:/opt/hadoop-1.2.1/conf$ hostname

修改/etc/hosts文件：

重新来过：

[plain] view plaincopy

hadoop dfs -rmr output/
hadoop jar hadoop-examples-1.2.1.jar wordcount input output

依旧不起作用...........重启，再重新来过.................ok！！！

oK!!看见没有，你成功了！！！！！！

检测一下输出信息：

[plain] view plaincopy

dat@dat-HP:/opt/hadoop-1.2.1$ hadoop dfs -cat output/*

ok!!此时伪分布式系统环境已可以正常使用~~~！

YOU GET YOUR FOOT IN THE DOOR！

Ubuntu下 Hadoop 1.2.1 配置安装相关推荐

Ubuntu下Hadoop的安装教程
Ubuntu下Hadoop的安装教程,Hadoop的单机配置和伪分布式安装教程本教程采用的是Ubuntu18.04.4+hadoop2.7.7+jdk1.8 创建Hadoop用户打开命令行终端( ...
Ubuntu 下谷歌浏览器、搜狗输入法的下载安装
Ubuntu 下谷歌浏览器.搜狗输入法的下载安装一.Ubuntu 下谷歌浏览器的下载安装二.Ubuntu 下搜狗输入法的下载安装一.Ubuntu 下谷歌浏览器的下载安装下载网址:点击此处跳转下 ...
Ubuntu下利用JDK的Keytool配置Tomcat7.0的SSL协议
Ubuntu下利用JDK的Keytool配置Tomcat7.0的SSL协议: 1.用JDK自带的Keytool生成服务器证书: 1)打开终端控制台,转向tomcat主目录,执行生成keystore ...
ubuntu下查看显卡驱动是否成功安装
ubuntu下查看显卡驱动是否成功安装的方法 ubuntu下查看显卡驱动是否成功安装的方法方法一:通过查看`设置->详细信息->关于`查看方法二:通过终端查看方法三:通过终端 `nv ...
Ubuntu下Hadoop以及Spark配置
在VMWare 中准备第二.第三台运行Ubuntu系统的机器: 在VMWare中构建第二.三台运行Ubuntu的机器和构建第一台机器完全一样,再次不在赘述.. 与安装第一台Ubuntu机器不同的几点是 ...
ubuntu下hadoop,spark配置
转载来自:http://www.cnblogs.com/spark-china/p/3941878.html 在VMWare 中准备第二.第三台运行Ubuntu系统的机器: 在VMWare中构建第 ...
Ubuntu16.04下Hadoop 2.7.3的安装与配置
一.JAVA环境搭建 (1)下载JDK并解压(当前操作系统为Ubuntu16.04,jdk版本为jdk-8u111-linux-x64.tar.gz) 新建/usr/java目录,切换到jdk-8u1 ...
linux apktool使用教程,简单介绍ubuntu下apktool的使用与配置
apktool 使用 1.解包(反编译):apktool d -f xxx.apk -o xxx 2.二次打包: apktool b xxx -o xxx.apk 3.签名 java -jar sig ...
Ubuntu 下 LaTeX 图形环境的配置——使用Kile
Ubuntu下LaTeX 的配置利用新立得软件包管理器查看,我下载的软件有: 在TeX创作里面查看,安装了下列文件 latex-beamer,latex-xcolor,pgf,tex-common, ...

Ubuntu下 Hadoop 1.2.1 配置安装

Ubuntu下 Hadoop 1.2.1 配置安装相关推荐

最新文章

热门文章