setup hadoop 1.2.1 on Mac

1. 在终端上输入 ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/homebrew/go/install)" （这个命令用来安装brew，如果之前已经安装了可以省略）

2. 通过brew安装hadoop

brew install hadoop //这条命令会自动安装最新的hadoop版本
或者
brew search hadoop //这个命令可以显示可安装的版本
brew install homebrew/versions/hadoop121 //这样可以选择安装hadoop的版本

3. 安装完毕后需要设置路径和环境变量

export HADOOP_HOME="/usr/local/Cellar/hadoop121/1.2.1/libexec"

export HADOOP_VERSION="1.2.1"

PATH=/usr/local/Cellar/hadoop121/1.2.1/libexec/bin:$PATH

export PATH

4. 配置SSH登录

$ ssh-keygen -t rsa -P ""

$ cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

$ ssh localhost

5. 配置伪分布式环境

需要配置如下四个文件

hadoop-env.sh

core-site.xml

hdfs-site.xml

mapred-site.xml

hadoop-env.sh

增加 export HADOOP_OPTS="-Djava.security.krb5.realm= -Djava.security.krb5.kdc="

core-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop-${user.name}</value>
<description>A base for other temporary directories.</description>
</property>
</configuration>

hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

mapred-site.xml

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>4</value>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>2</value>
</property>
</configuration>

6. 之后需要对namenode进行format

$ hadoop namenode -format

7. 启动hadoop

$ /usr/local/Cellar/hadoop/1.1.1/libexec/bin/start-all.sh

如果设置了上面3中的环境变量，只需要键入 start-all.sh

8. 查看hadoop运行状况

$ jps
49770 TaskTracker
49678 JobTracker
49430 NameNode
49522 DataNode
49615 SecondaryNameNode
49823 Jps

9. 结束hadoop运行

stop-all.sh

setup hadoop 1.2.1 on Mac相关推荐

Mac Hadoop的安装与配置
这里介绍Hadoop在mac下的安装与配置. 安装及配置Hadoop 首先安装Hadoop $ brew install Hadoop 配置ssh免密码登录用dsa密钥认证来生成一对公钥和私钥: $ ...
在Mac上安装Hadoop HA 高可
**Mac安装Hadoop HA高可在Mac上安装Hadoop HA 高可用配置环境: HA & Federation介绍 Hadoop 1.x与Hadoop 2.x Hadoop 2.x ...
Apache Hadoop 2.9.2文档中文译文 -------未完！！！！！！
目录一. General(概括) 1. Overview 2. Single Node Setup 3. Cluster Setup 4. Commands Reference 5. FileSys ...
大数据学习笔记二：Ubuntu/Debian 下安装大数据框架Hadoop
文章目录安装Java 为Hadoop创建用户安装Hadoop 配置Hadoop 配置环境变量设置配置文件格式化namenode 启动hadoop集群访问hadoop集群大数据学习系列文章: ...
从零开始学习Hadoop--第1章 Hadoop的安装
Hadoop的安装比较繁琐,有如下几个原因:其一,Hadoop有非常多的版本:其二,官方文档不尽详细,有时候更新脱节,Hadoop发展的太快了:其三,网上流传的各种文档,或者是根据某些需求定制,或者加 ...
mac打包python3程序
1. 下载安装py2app pip3 install py2app 2. 创建setup.py文件 py2applet --make-setup XXX.py 3. 发布应用 python3 setu ...
Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0
本 Hadoop 教程由厦门大学数据库实验室出品,转载请注明.本教程适合于在 CentOS 6.x 系统中安装原生 Hadoop 2,适用于Hadoop 2.7.1, Hadoop 2.6.0 等版本 ...
RAD Studio XE2 – Setting it up for a Mac (step-by-step illustrated guide) | Reinvent The Wheel
RAD Studio XE2 – Setting it up for a Mac (step-by-step illustrated guide) September 3, 2011 by Simon ...
在Ubuntu 13.10 中安装配置 Hadoop 2.3.X - Tong Zeng
预备条件: 1. 已安装JDK Add Hadoop Group and User $ sudo addgroup hadoop $ sudo adduser --ingroup hadoop hd ...

setup hadoop 1.2.1 on Mac

setup hadoop 1.2.1 on Mac相关推荐

最新文章

热门文章