这篇文章包含在ubuntu上安装Hadoop的说明。 这是Hadoop安装的快速分步教程。 在这里，您将获得以独立模式 （单节点集群）安装Hadoop所需的所有命令及其说明，   伪分布式模式下的Hadoop （单节点群集）和分布式模式下的Hadoop （多节点群集）。

本教程的主要目标是启动并运行“简单的” Hadoop安装，以便您可以试用该软件并了解更多信息。

本教程已经过测试：

• Ubuntu Linux（10.04 LTS）
• Hadoop 0.20.2

先决条件：
安装Java：
推荐将Java 1.6.x（Sun Java或Open Java）用于Hadoop

1.将Canonical合作伙伴存储库添加到您的apt存储库中：

$ sudo add-apt-repository "deb http://archive.canonical.com/ lucid partner"

2.更新源列表

$ sudo apt-get update

3.安装sun-java6-jdk

$ sudo apt-get install sun-java6-jdk

4.安装后，快速检查Sun的JDK是否正确设置：

user@ubuntu:~# java -version
java version "1.6.0_20"
Java(TM) SE Runtime Environment (build 1.6.0_20-b02)
Java HotSpot(TM) Client VM (build 16.3-b01, mixed mode, sharing)

添加专用的Hadoop系统用户：
我们将使用专用的Hadoop用户帐户来运行Hadoop。 虽然这不是必需的，但建议这样做，因为它有助于将Hadoop安装与同一计算机上运行的其他软件应用程序和用户帐户分开（请考虑：安全性，权限，备份等）

$ sudo adduser hadoop_admin

登录到hadoop_admin用户：

user@ubuntu:~$ su - hadoop_admin

Hadoop安装：

$ cd /usr/local
$ sudo tar xzf hadoop-0.20.2.tar.gz
$ sudo chown -R hadoop_admin /usr/local/hadoop-0.20.2

定义JAVA_HOME：

编辑配置文件/usr/local/hadoop-0.20.2/conf/hadoop-env.sh并设置JAVA_HOME：
导出JAVA_HOME =要成为Java安装根目录的路径（例如：/ usr / lib / jvm / java-6-sun）

$ vi conf/hadoop-env.sh

进入您的hadoop安装目录（HADOOP_HOME，即/usr/local/hadoop-0.20.2/）：

$ bin/hadoop

它将生成以下输出：

Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:
namenode -format                format the DFS filesystem
secondarynamenode               run the DFS secondary namenode
namenode                        run the DFS namenode
datanode                        run a DFS datanode
dfsadmin                        run a DFS admin client
mradmin                         run a Map-Reduce admin client
fsck                            run a DFS filesystem checking utility
fs                              run a generic filesystem user client
balancer                        run a cluster balancing utility
jobtracker                      run the MapReduce job Tracker node
pipes                           run a Pipes job
tasktracker                     run a MapReduce task Tracker node
job                             manipulate MapReduce jobs
queue                           get information regarding JobQueues
version                         print the version
jar <jar>                       run a jar file
distcp <srcurl>                 <desturl> copy file or directories recursively
archive -archiveName NAME <src>*<dest> create a hadoop archive
daemonlog                       get/set the log level for each daemon
or
CLASSNAME                       run the class named CLASSNAME
Most commands print help when invoked w/o parameters:

独立模式下的Hadoop安装已完成……。!!!!!!!

现在运行一些示例：
1.运行经典Pi示例：

$ bin/hadoop jar hadoop-*-examples.jar pi 10 100

2.运行grep示例：

$ mkdir input
$ cp conf/*.xml input
$ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'
$ cat output/*

3.运行字数示例：

$ mkdir inputwords
$ cp conf/*.xml inputwords
$ bin/hadoop jar hadoop-*-examples.jar wordcount inputwords outputwords

如果发现任何错误，请访问Hadoop故障排除

在独立模式下运行Hadoop之后，让我们以伪分布式模式 （单节点集群）启动Hadoop ：

配置SSH：
Hadoop需要SSH访问权限来管理其节点，即远程计算机和本地计算机。 因此，对于我们的Hadoop单节点设置，我们需要为hadoop_admin用户配置对localhost的SSH访问

user@ubuntu:~$ su - hadoop_admin
hadoop_admin@ubuntu:~$ sudo apt-get install openssh-server openssh-clienthadoop_admin@ubuntu:~$ ssh-keygen -t rsa -P ""
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hadoop_admin/.ssh/id_rsa):
Created directory '/home/hadoop_admin/.ssh'.
Your identification has been saved in /home/hadoop_admin/.ssh/id_rsa.
Your public key has been saved in /home/hadoop_admin/.ssh/id_rsa.pub.
The key fingerprint is:
9b:82:ea:58:b4:e0:35:d7:ff:19:66:a6:ef:ae:0e:d2 hadoop_admin@ubuntu
The key's randomart image is:
[...snipp...]
hadoop_admin@ubuntu:~$

启用S​​SH访问本地计算机并使用ssh连接

$ cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
$ ssh localhost
The authenticity of host 'localhost (::1)' can't be established.
RSA key fingerprint is e7:89:26:49:ae:02:30:eb:1d:75:4f:bb:44:f9:36:29.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'localhost' (RSA) to the list of known hosts.
Linux ubuntu 2.6.32-22-generic #33-Ubuntu SMP Wed Apr 30 13:27:30 UTC 2010 i686 GNU/Linux
Ubuntu 10.04 LTS
[...snipp...]
$

编辑配置文件：

$ vi conf/core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property><property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop-${user.name}</value>
</property></configuration>

如果提供其他路径，请确保该目录中的hadoop_admin用户具有读写权限（sudo chown hadoop_admin / your / path）

$ vi conf/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

$ vi conf/mapred.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

格式化名称节点：

$ /hadoop/bin/hadoop namenode -format

它将生成以下输出：

$ bin/hadoop namenode -format
10/05/10 16:59:56 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = ubuntu/127.0.1.1
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 0.20.2
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707; compiled by 'chrisdo' on Fri Feb 19 08:07:34 UTC 2010
************************************************************/
10/05/10 16:59:56 INFO namenode.FSNamesystem: fsOwner=hadoop_admin,hadoop
10/05/08 16:59:56 INFO namenode.FSNamesystem: supergroup=supergroup
10/05/08 16:59:56 INFO namenode.FSNamesystem: isPermissionEnabled=true
10/05/08 16:59:56 INFO common.Storage: Image file of size 96 saved in 0 seconds.
10/05/08 16:59:57 INFO common.Storage: Storage directory .../.../dfs/name has been successfully formatted.
10/05/08 16:59:57 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at ubuntu/127.0.1.1
************************************************************/
$

启动单节点集群：

$ /bin/start-all.sh

它将生成以下输出：

hadoop_admin@ubuntu:/usr/local/hadoop$ bin/start-all.sh
starting namenode, logging to /usr/local/hadoop/bin/../logs/hadoop-hadoop-namenode-ubuntu.out
localhost: starting datanode, logging to /usr/local/hadoop/bin/../logs/hadoop-hadoop-datanode-ubuntu.out
localhost: starting secondarynamenode, logging to /usr/local/hadoop/bin/../logs/hadoop-hadoop-secondarynamenode-ubuntu.out
starting jobtracker, logging to /usr/local/hadoop/bin/../logs/hadoop-hadoop-jobtracker-ubuntu.out
localhost: starting tasktracker, logging to /usr/local/hadoop/bin/../logs/hadoop-hadoop-tasktracker-ubuntu.out
hadoop_admin@ubuntu:/usr/local/hadoop$

检查jps是否正在运行预期的Hadoop进程

$ jps
14799 NameNode
14977 SecondaryNameNode
15183 DataNode
15596 JobTracker
15897 TaskTracker

伪分布式模式下的Hadoop安装已完成……。!!!!!!!

停止单节点集群：

$ /bin/stop-all.sh

它将生成以下输出：

$ bin/stop-all.sh
stopping jobtracker
localhost: stopping tasktracker
stopping namenode
localhost: stopping datanode
localhost: stopping secondarynamenode
$

您可以在oder中运行与独立模式下相同的示例集，以检查安装是否成功

基于Web的NameNode接口
http：//本地主机：50070
基于Web的JobTracker界面 http：//本地主机：50030 基于Web的TaskTracker界面 http：//本地主机：50060

在以独立模式运行Hadoop之后，让我们以分布式模式 （多节点集群）启动Hadoop。

先决条件：在分布式模式下启动hadoop之前，必须在伪分布式模式下设置hadoop，并且至少需要两台计算机，其中一台用于主服务器，另一台用于从服务器（您可以在一台计算机上创建多台虚拟机）。

参考：来自JCG合作伙伴的 独立模式下的 Hadoop，伪分布式模式下的 Hadoop和分布式模式 下的 Hadoop   Rahul Patodi在高性能计算博客上。