下面介绍myeclipse与hadoop的集成。

我用的myeclipse版本是8.5.

1、安装hadoop开发插件

在hadoop1.2.1版本的安装包contrib/目录下,已经不再提供hadoop-eclipse-pligin-1.2.1.jar;

而是提供了源代码文件,需要我们自行重新编译成jar包文件;这里方便,大家可以从这里下载:

hadoop-eclipse-plugin-1.2.1.jar.pdf

由于博客上传文件的类型限制,故添加了pdf后缀,下载之后重命名,去掉".pdf"即可。

然后将该文件拷贝到myeclipse根目录下/dropins目录下。

2、设置myeclipse

启动myeclipse,打开Perspective;

【Window】->【Open Perspective】->【Other...】->【Map/Reduce】->【OK】

然后打开View:

【Window】->【Show View】->【Other...】->【MapReduce Tools】->【Map/Reduce Locations】->【OK】

然后,添加Hadoop location,在Map/Reduce locations下面的空白处单击右键:

(我这里已经建了一个,所以会有一条,第一次建,应该是空白的)

然后选择edit hadoop location

location name: 我填写的是:first-hadoop
Map/Reduce Master 这个框里
Host:就是jobtracker 所在的集群机器,这里写localhost
Hort:就是jobtracker 的port,这里写的是9001
这两个参数就是mapred-site.xml里面mapred.job.tracker里面的ip和port

DFS Master 这个框里
Host:就是namenode所在的集群机器,这里写localhost
Port:就是namenode的port,这里写9000
这两个参数就是core-site.xml里面fs.default.name里面的ip和port

(Use M/R master host,这个复选框如果选上,就默认和Map/Reduce Master这个框里的host一样,如果不选择,就可以自己定义输入,这里jobtracker 和namenode在一个机器上,所以是一样的,就勾选上)

user name:这个是连接hadoop的用户名,我的是ldm。
然后点击finish按钮,此时,这个视图中就有多了一条记录。

重启myeclipse并重新编辑刚才建立的那个连接记录,现在我们编辑advance parameters tab页

这里大部分的属性都已经自动填写上了,其实就是把core-defaulte.xml、hdfs-defaulte.xml、mapred-defaulte.xml里面的一些配置属性展示出来。

因为在安装hadoop的时候,其site系列配置文件里有改动,所以这里也要弄成一样的设置。

主要关注的有以下属性:
fs.defualt.name:这个在General tab页已经设置了
mapred.job.tracker:这个在General tab页也设置了
dfs.replication:这个这里默认是3,因为我在hdfs-site.xml里面设置成了1,所以这里也要设置成1 
然后点击finish,然后就连接上了(先要启动sshd服务,启动hadoop进程),连接上的标志如图:

3、wordcount实例

新建Map/Reduce Project:

【File】->【New】->【Project...】->【Map/Reduce】->【Map/Reduce Project】->

【Project name: WordCount】->【Configure Hadoop install directory...】->【Hadoop installation directory: c:\cygwin64\home\ldm\hadoop】

->【Apply】->【OK】->【Next】->【Allow output folders for source folders】->【Finish】

新建WordCount类

然后将hadoop安装包中实例WordCount.java类中的代码拷入。

接下来,新建一个文件夹input,新建两个文件input/file1,input/file2;

文件内容分别为Hello World Bye World和Hello Hadoop Goodbye Hadoop

然后在cygwin终端中运行命令:hadoop fs -put input input

文件夹input上传到分布式文件系统中,命令中的路径根据自己路径为准。

配置运行参数:

①在新建的项目WordCount,点击WordCount.java,右键-->Run As-->Run Configurations 
②在弹出的Run Configurations对话框中,点Java Application,右键-->New,这时会新建一个application名为WordCount 
③配置运行参数,点Arguments,在Program arguments中输入“你要传给程序的输入文件夹和你要求程序将计算结果保存的文件夹”,如:

然后点击run;

如果显示如下,说明已经成功在myeclipse下运行第一个MapReduce程序了。

  1. Bye 1
  2. Goodbye 1
  3. Hadoop  2
  4. Hello   2
  5. World   2

4、问题解决

如果遇到Hadoop PriviledgedActionException: Failed to set permissions;

请下载hadoop-core-1.2.1.jar.pdf,替换掉hadoop目录下的hadoop-core-1.2.1 .jar文件,即可。

转载于:https://www.cnblogs.com/liudmblog/p/3920328.html

windows下hadoop的单机伪分布式部署(3)相关推荐

  1. Hadoop入门-单机伪分布式配置

    为了配置的的方便建议先提升你的登录用户权限,本配置中凡是要在终端中输入的命令都用红色字体,需注意对应的目录用了色字体标出. 启用超级用户 sudo passwd root(然后输入你的超级用户密码)以 ...

  2. Windows下Weblogic 12c单机安装与部署

    文章目录 下载安装 安装版本 下载方式 单机安装 解压安装包 安装 配置 安装目录说明 管理服务器的启动 应用部署 下载安装 下载地址: https://www.oracle.com/middlewa ...

  3. day70-大数据之Hadoop部署1(单机部署与伪分布式部署)

    大数据基础平台实施及运维 一.大数据介绍 学习目标 能够了解为什么使用大数据技术 能够了解大数据指的是什么 1. 为什么使用大数据技术? 数据量越来越大 数据分析的实时性越来越强 数据结果的应用越来越 ...

  4. Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0

    本 Hadoop 教程由厦门大学数据库实验室出品,转载请注明.本教程适合于在 CentOS 6.x 系统中安装原生 Hadoop 2,适用于Hadoop 2.7.1, Hadoop 2.6.0 等版本 ...

  5. Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

    给力星 追逐内心的平和 首页 笔记 搜藏 代码 音乐 关于 Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04 2014-08-09 (updated: 2016 ...

  6. Hadoop安装教4程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.0

    Hadoop安装教4程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.0 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单,书上有写到 ...

  7. Hadoop单机伪分布式安装详解

    文章目录 写在开头的话 前提环境准备 配置JAVA环境 将jdk安装包传输至你的Linux宿主机中 操作jdk安装包,然后配置java环境 配置ssh免密登录 安装Hadoop,及其hadoop配置 ...

  8. Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu16.04

    转自http://dblab.xmu.edu.cn/blog/install-hadoop/ 创建hadoop用户 创建了可以登陆的 hadoop 用户,并使用 /bin/bash 作为 shell, ...

  9. Hadoop伪分布式部署及常用操作

    hadoop伪分布式部署 之前有做过hadoop 2.x的部署,现在再做一下hadoop 3.x的部署. hadoop有三个组件:hdfs用来存储数据,mapreduce 用来计算(作业) ,yarn ...

最新文章

  1. Control Channel Element (CCE)
  2. 微信小程序 遇到问题1
  3. 微擎支付返回商户单号_一步一步教你在SpringBoot中集成微信扫码支付
  4. 404 Not Found: Requested route ('jerrylist.cfapps.eu10.hana.ondemand.com') does not exist
  5. php执行zip压缩,PHP执行zip与rar解压缩方法实现代码
  6. linux服务器上svn的log_Linux服务器上搭建svn服务器
  7. 谷歌联合 Adobe 发布 Noto 字体【免费下载】
  8. .net 批量更新_Revit二次开发——读取CAD文字实现更新模型的思路
  9. 航空机票预订c#代码_航空公司座位预订问题的C ++程序
  10. 浙江工业大学计算机应用基础,浙江工业大学期终考试命题稿-浙江大学人文学院.doc...
  11. 虚拟机和主机之间建立虚拟磁盘
  12. 自然语言处理_人工智能自然语言处理技术拉动产业升级引擎
  13. TD-SCDMA迫零块线性均衡
  14. 数字孪生堆场智慧安全管控平台
  15. java rnn生成古诗_基于循环神经网络(RNN)的古诗生成器
  16. 谜一样的科学家——阿兰图灵
  17. layui实现动态多级菜单
  18. APP开发定制开发语言
  19. XP系统如搭建ftp服务器,XP系统如搭建ftp服务器
  20. vue3 ref函数用法

热门文章

  1. c# linq的差集,并集,交集,去重【转】
  2. 树状数组成段更新模板
  3. delphi 中几种多线程操作方式
  4. linux 命令行模式下,浏览网页方法
  5. Visual.Assist.X.V10.7.1940的汉化破解补丁
  6. Mac电脑 hbuilderx 运行到小程序node-sass异常
  7. Beyond Compare4.07过期,报错This license key has been revoked:
  8. android.os.BinderProxy cannot be cast to
  9. docker centos node nginx
  10. select * from ( union ) ')' 附近有语法错误。