【Hadoop】MAC下hadoop2.6安装以及执行wordcount

首先简单介绍下博主的配置环境

MAC 10.10.0
hadoop 2.6
JDK 1.6（可以在shell里用jdk -version查询）

hadoop安装

安装的话推荐使用mac下面的brew，理由就是用brew安装的话，它会自动给帮你配置好相应的路径。当然也可以到官网下载，注意jdk和hadoop版本要对应。

brew install hadoop

安装好了之后，可以使用brew list hadoop 来查看。
位置应该是在：/usr/local/Cellar/hadoop/
这时候就可以直接在shell里执行hadoop命令，是不是很方便。

执行wordcount

首先说一下，现在要执行的wordcount只是简单试验下hadoop是否能工作，并不是多线程的伪分布式，因为还没有配置，这个下一节会讲。

1.首先我们先建立以下数据源: 在hadoop根目录下，建立一个文件夹，叫“input”; 在里面放上txt数据，我直接把”readme.txt”copy 进去了
2.这时候我们就可以执行hadoop的自带命令了: 首先要找到 hadoop-mapreduce-examples-2.6.0.jar 这个文件的路径，因为自带的例子都是在这个里面的。; 用 jar 命令来执行，因为都是java写的嘛。

3.执行命令

hadoop jar /usr/local/Cellar/hadoop/2.6.0/libexec/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount input output

4.效果: 这时候你会发现shell蹦出一大串东西; 最终会生成一个output文件夹，里面的东西打开，就是wordcount

本文来自博客 “李博Garvin“
转载请标明出处:http://blog.csdn.net/buptgshengod

【Hadoop】MAC下hadoop2.6安装以及执行wordcount相关推荐

MongoDB学习第一篇 --- Mac下使用HomeBrew安装MongoDB
2019独角兽企业重金招聘Python工程师标准>>> MongoDB学习第一篇 --- Mac下使用HomeBrew安装MongoDB 0.确保mac已经安装了HomeBrew ( ...
Mac 下的软件安装 —— 从 pkg,dmg 到 brew,cask
本文转载自坚持编程_lyz 文章原链接https://www.jianshu.com/p/61f209cd0e91 且该作者转载自原作者Elsewhere**(但此链接已无法访问) http://co ...
virtualbox php mac,mac下virtualbox+vagrant安装
mac下virtualbox+vagrant安装 1.安装VirtualBox VirtualBox下载地址免费小巧非常适用,根据自己机器系统选择下载包图1 2.安装并使用Vagrant 1)Va ...
Mac下通过Anaconda安装Tensorflow
Mac下通过Anaconda安装Tensorflow Anaconda是一个基于python的科学计算平台,支持 Linux, Mac, Windows系统,提供了包管理与环境管理的功能,可以很方便地 ...
Linux、Windows、Mac下Docker的安装与使用
Linux.Windows.Mac下Docker的安装与使用一.Linux下的安装二.Windows与Mac下的安装三.Docker的使用一.Linux下的安装这里以Centos 7为例,首 ...
mac下chrome插件安装位置
所有的chrome插件都是安装在资源管理库(library)里面的,如果你的记性够好,请记住MAC下插件的安装位置: ~/Library/Application Support/Google/Chro ...
mac下GLTools的安装
在学习<OpenGL超级宝典>时, 其中的例子用到了GLTools库,需要自行安装.MAC下GLTools的安装方法如下: 1. git clone https://github.com/ ...
Mac下的HALCON安装与License文件下载
Mac下的HALCON安装与License文件下载 1.HALCON的下载地址:HALCON官网下载,需要注册个人账号: 2.安装过程:(例如,我下载的版本是halcon-18.11.0.1-maco ...
Mac 下的golang安装
Mac下的golang安装 1.安装golang brew install golang 安装很慢怎么办? 直接上链接解决方法 2.查看是否安装成功 go version

【Hadoop】MAC下hadoop2.6安装以及执行wordcount

hadoop安装

执行wordcount

【Hadoop】MAC下hadoop2.6安装以及执行wordcount相关推荐

最新文章

热门文章