配置Hadoop

首先确保 java 已经正确安装，最好使用1.6以上的版本， java -version 查看正在使用的版本。把 java 加到 ~/.bash_profile 里。

export JAVA_HOME=`/usr/libexec/java_home`

配置 ssh ，为了简单点儿，使用当前用户账号。需要把密钥文件给自己加上，方便地用 ssh 访问本机。

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# /usr/sbin/sshd        # 有点儿麻烦，需要启动ssh
$ ssh localhost         # 验证一下

以伪分布式安装Hadoop。把Hadoop下载下来，解压放到比如 /usr/local/ 下，加到环境变量里：

PATH="$PATH:/usr/local/hadoop/bin"

改一下用户，以便后面可以在自己的账号下启动它：

# chown -R yeolar:admin /usr/local/hadoop

Hadoop需要个临时目录：

$ mkdir /tmp/hadoop
$ chmod 777 /tmp/hadoop

配置Hadoop的环境变量，在 /usr/local/hadoop/conf/hadoop-env.sh 中：

export JAVA_HOME=`/usr/libexec/java_home`
export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"   # Mac需要这个

修改一些配置文件：

/usr/local/hadoop/conf/core-site.xml:

<property><name>hadoop.tmp.dir</name><value>/tmp/hadoop</value><description>A base for other temporary directories.</description>
</property><property><name>fs.default.name</name><value>hdfs://localhost:54310</value><description>The name of the default file system.  A URI whosescheme and authority determine the FileSystem implementation.  Theuri's scheme determines the config property (fs.SCHEME.impl) namingthe FileSystem implementation class.  The uri's authority is used todetermine the host, port, etc. for a filesystem.</description>
</property>

/usr/local/hadoop/conf/mapred-site.xml:

<property><name>mapred.job.tracker</name><value>localhost:54311</value><description>The host and port that the MapReduce job tracker runsat.  If "local", then jobs are run in-process as a single mapand reduce task.</description>
</property>

/usr/local/hadoop/conf/hdfs-site.xml:

<property><name>dfs.replication</name><value>1</value><description>Default block replication.The actual number of replications can be specified when the file is created.The default is used if replication is not specified in create time.</description>
</property>

格式化HDFS文件系统：

$ hadoop namenode -format

现在就可以通过 start-all.sh 和 stop-all.sh 来启动和停止这个单点集群了。

创建一个Hadoop工程

现在大多用maven创建Java工程。

$ mvn archetype:create -DgroupId=com.yeolar.hmapred -DartifactId=hmapred -DpackageName=com.yeolar.hmapred

默认会创建一个App.java，把它删掉，然后把Hadoop源代码里面的WordCount.java复制过来，改一下 package 。

我们还要在pom.xml中加上Hadoop依赖：

<dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-core</artifactId><version>1.1.1</version>
</dependency>

现在在工程的根目录就可以编译打包了：

$ mvn clean compile
$ mvn package

maven首次会自动下载依赖，需要一些时间。

如果想把maven工程转换为eclipse工程，可以执行 mvn eclipse:eclipse 。同时还要在Preferences/Java/Build Path/Classpath Variables中添加变量 M2_REPO = /Users/yeolar/.m2/repository 。

运行Hadoop任务

运行普通的Java包可以使用命令 java -cp <jar file> <class> ，不过Hadoop有它自己的方式。

首先，确保Hadoop已经启动，如果还没有，使用 start-all.sh 启动起来。

然后把要处理的文档放到HDFS里面：

$ hadoop dfs -put doc.txt ~

运行Hadoop任务：

$ hadoop jar target/hmapred-1.0-SNAPSHOT.jar com.yeolar.hmapred.WordCount doc.txt out

可以合并取出输出的结果（ -getmerge ），或者直接查看（ -cat ）。