整个安装过程分为四部分:

一.  安装Homebrew

二.  ssh localhost

三. 安装Hadoop已经进行配置文件设置 (伪分布式)

四. 执行栗子

一. 安装Homebrew

採用Homebrew安装Hadoop很简洁方便,之前在Windows上Cygwin上安装过Hadoop,感觉好麻烦。

关于Homebrew能够查看其官网 http://brew.sh/ 也能够查看Homebrew 新一代OS X套件管理工具 一文。

$ ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

然后将上面一行命令拷贝到终端运行就安装完毕了。

二. ssh localhost

由于安装hadoop须要远程登入的功能,所以须要安装ssh工具。 Mac OS X仅仅需在“系统偏好设置”的“共享”的“远程登录”勾选就能够使用ssh了。

ssh的很多其它能够查看  SSH原理与应用  一文。

假设没有生成过ssh公钥,就使用命令: (查看 ~/.ssh/id_dsa 和~/.ssh/id_dsa.pub存不存在就知道之前有没有生成过公钥,或者直接运行ssh localhost看是否能成功)

$ ssh-keygen -t rsa -P ""
$ cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

后面的命令是为了将自己的公钥存到对方的公钥保存目录中, 这是为了避免每次运行ssh  localhost进行远程登入的时候都要输入password。

三. 安装hadoop    由于就在自己的一台电脑,所以就採用伪分布式模式。

<span style="font-size:18px;">$ brew install hadoop</span>

hadoop 就成功安装了,当然这样安装的最新稳定版, 我安装时最新为2.6。 hadoop将按预定的路径安装。

以下就是配置文件的改动了:

hadoop-env.sh

文件在/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop/hadoop-env.sh

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"

改动为

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="

编辑 Core-site.xml

/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop/core-site.xml

<configuration><property><name>hadoop.tmp.dir</name>
<value>/usr/local/Cellar/hadoop/hdfs/tmp</value><description>A base for other temporary directories.</description></property><property><name>fs.default.name</name>                                     <value>hdfs://localhost:9000</value>                             </property>
</configuration> 

注: fs.default.name 保存了NameNode的位置,HDFS和MapReduce组件都须要用到它,这就是它出如今core-site.xml 文件里而不是 hdfs-site.xml文件里的原因

编辑 mapred-site.xml   可能文件名称为 mapred-site.xml.templete , 改不改名字都能够。

/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop/mapred-site.xml 刚開始是空白的文件

<configuration><property><name>mapred.job.tracker</name><value>localhost:9010</value></property></configuration>

变量mapred.job.tracker 保存了JobTracker的位置,由于仅仅有MapReduce组件须要知道这个位置,所以它出如今mapred-site.xml文件里。

编辑 hdfs-site.xml

/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop/hdfs-site.xml

<configuration><property><name>dfs.replication</name><value>1</value></property></configuration>

变量dfs.replication指定了每一个HDFS数据库的复制次数。 通常为3, 因为我们仅仅有一台主机和一个伪分布式模式的DataNode,将此值改动为1。

至此,配置文件编辑完成。

接下来是进到 hadoop 的安装文件夹 /usr/local/Cellar/hadoop/2.6.0/sbin

然后运行 ./start-dfs.sh 和 ./start-yarn.sh 就能够启动 Hadoop了。 只是这里会出现一个 警告:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 这对Hadoop的执行没有影响,关于这个警告后面再讲。

为了启动Hadoop的时候避免每次都首先进到安装文件夹,然后再运行./start-dfs.sh 和 ./start-yarn.sh这么麻烦,所以在编辑 ~/.profiles文件,加上例如以下两行:

alias hstart="/usr/local/Cellar/hadoop/2.6.0/sbin/start-dfs.sh;/usr/local/Cellar/hadoop/2.6.0/sbin/start-yarn.sh"
alias hstop="/usr/local/Cellar/hadoop/2.6.0/sbin/stop-yarn.sh;/usr/local/Cellar/hadoop/2.6.0/sbin/stop-dfs.sh"

然后运行 $ source ~/.profile 更新。 这样能够就能够用 hstart 和 hstop 这两个简单明了启动Hadoop了。

只是在启动hadoop之前要先格式化 hdfs

$ hadoop namenode -format

这时就能够用hstart启动hadoop了。 能够使用 jps 命令验证 Hadoop是否在执行。

四. 执行栗子

安装完了之后肯定想看看能不能使用,hadoop自带了一个样例。$ hadoop jar <path to the hadoop-examples file> pi 10 100

$ hadoop jar /usr/local/Cellar/hadoop/2.3.0/libexec/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.3.0.jar pi 2 5

得到的结果可能是这种:

Wrote input for Map #0
Wrote input for Map #1
Starting Job
...
Job Finished in 1.685 seconds
Estimated value of Pi is 3.60000000000000000000

然后能够通过Web端进行监控。

Resource Manager: http://localhost:50070
JobTracker: http://localhost:8088
Specific Node Information: http://localhost:8042

通过他们能够訪问 HDFS filesystem, 也能够取得结果输出文件.

注: 前文提到的 警告 是关于 Hadoop 本地库的, Hadoop本地库是为了提高效率或者某些不能用Java实现的功能组件库。眼下仅仅支持 *unix, 在Mac OS X和Cygwin上没有支持的。native hadoop library

只是我看到一篇文章说也能够在Mac OS X支持本地库,其解决方法是 Mac OSX 下 Hadoop 使用本地库提高效率

转载于:https://www.cnblogs.com/hrhguanli/p/4510419.html

Mac OS X Yosemite安装Hadoop 2.6记录相关推荐

  1. MAC OS X Yosemite安装与试用

    MAC OS X Yosemite安装与试用 北京时间2014年6月3日凌晨,苹果公司在美国旧金山Moscone中心召开2014年度全球开发者大会(WWDC 2014),发布了新一代Mac操作系统OS ...

  2. Mac OS X Yosemite安装盘U盘制作

    从App Store下载Mac OS X Yosemite安装程序,下载后的安装文件保存在应用程序(/Applications)文件夹中.请注意,此时一定不要直接启动该程序安装 OS X Yosemi ...

  3. Mac OS X Yosemite Arduino安装CH340 USB转串口驱动

    新买的Arduino开发板 USB转串口使用了CH340芯片,在Mac OS X Yosemite上正常安装驱动后,在Arduino IDE的端口没发现相应的设备,使用以下方法后就能使用USB转串口调 ...

  4. Mac OS X中安装命令行工具Command Line Tools(无Xcode)

    Mac OS X中安装命令行工具Command Line Tools(无Xcode) 简介 喜欢通过终端访问更传统的Unix工具包的Mac用户(大部分是程序员),都会选择安装Xcode IDE的可选命 ...

  5. 在 Mac OS X 上安装 TensorFlow

    在 Mac OS X 上安装 TensorFlow 这个文档说明了如何在 Mac OS X 上安装 TensorFlow. 注意:从 1.2 版本开始,在 Mac OS X 上 TensorFlow ...

  6. 在Mac OS环境下安装MySQL服务

    在Mac OS环境下安装MySQL服务 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 我之前介绍过window环境下安装mysql服务,以及在Linux环境下安装mysql服务,今 ...

  7. 苹果MAC OS X怎么安装双系统?

    苹果MAC OS X怎么安装双系统? | 浏览:179543 | 更新: 2012-06-05 22:56 | 标签: 苹果 1 2 3 4 5 6 7 分步阅读 苹果的MacBook NB传承其一惯 ...

  8. python mac os安装教程_教程:在 Mac OS X 上安装 TensorFlow

    简评:手把手教你如何在 Mac OSX 系统安装 TensorFlow. 这个文档说明了如何在 Mac OS X 上安装 TensorFlow. 注意:从 1.2 版本开始,在 Mac OS X 上 ...

  9. 在Mac OS X上安装Oracle客户端

    在Mac OS X上安装Oracle客户端 在mac上安装oracle客户端 官网下载页面 http://www.oracle.com/technetwork/topics/intel-macsoft ...

最新文章

  1. 杭电1867 A + B for you again
  2. stm32 输入捕获学习(一)
  3. ES6语法---const和symbol
  4. 启动后显示不了数据_90后都买不起房?统计数据显示:90后成了城市租房主力!...
  5. 模糊搜索简单算法fuzzywuzzy
  6. 二逼程序员与苦逼程序员
  7. mysql 流量带宽_CentOS中使用iftop命令监控网络带宽流量
  8. 阿里巴巴 JAVA 开发手册
  9. Spring动态代理详解
  10. sata7p 定义_SATA接口定义
  11. maya将模型导入到unity
  12. 人生之路 — 开启智慧之脑
  13. 构造伽罗华域GF(2^m)的方法
  14. [CTSC2016]时空旅行 (线段树分治)
  15. 五子棋游戏AI智能算法设计
  16. linux怎么让普通用户拥有管理员权限
  17. php tcpdf修改pdf内容,php-使用TCPDF将空间写入PDF文件
  18. 火狐打不开12306购票网站解决办法
  19. Python实现酷狗音乐下载-GUI版-2019-09-08版
  20. MuleSoft知识总结-21.Mule组件(Until Successful)

热门文章

  1. CSS的概念及优势(简单介绍)
  2. [leetcode]5340. 统计有序矩阵中的负数
  3. [leetcode] 95. 不同的二叉搜索树 II
  4. UnityGI3:光照探针
  5. 使用opencv中函数实现基于Harris算法的图像角点检测
  6. Java 图片验证码的实现和模拟简单的登录
  7. [再学Python] - 面向对象的程序设计- 对象和类
  8. docker使用填坑记录(修改无法启动容器, 拉取国外镜像)
  9. matlab2c使用c++实现matlab函数系列教程-zeros函数
  10. 图像处理九:拟合曲线