在eclipse中使用hadoop插件

我的配置环境看我的上篇博文。

配置过程：

（1）把插件放到eclipse/plugins目录下。（我的版本上一篇也有）

（3）重启eclipse，配置Hadoop installation directory

如果插件安装成功，打开Windows—Preferences后，在窗口左侧会有Hadoop Map/Reduce选项，点击此选项，在窗口右侧设置Hadoop安装路径

（4）配置Map/Reduce Locations

打开Windows—Open Perspective—Other,选择Map/Reduce，点击OK

点击Map/Reduce Location选项卡，点击右边小象图标，打开Hadoop Location配置窗口：

输入Location Name，任意名称即可.配置Map/Reduce Master和DFS Mastrer，Host和Port配置成与core-site.xml的设置一致即可(9000)。(貌似Map/Reduce Master 的端口设置任何数字都可以？)

点击"Finish"按钮，关闭窗口。

点击左侧的DFSLocations—>myhadoop（上一步配置的location name)，如能看到user，表示安装成功

（5）新建WordCount项目

File—>Project，选择Map/Reduce Project，输入项目名称比如：WordCount等。

然后就可以开始写了。

WordCount的代码网上有很多不再赘述。

运行：

HDFS上创建目录/test

hadoop fs -mkdir /test

拷贝本地hello.txt到HDFS的/test里

hadoop fs -copyFromLocal /usr/local/hadoop/input/hello.txt /test

点击WordCount.java，右键，点击Run As—>Run Configurations->arguments，配置运行参数，即输入和输出文件夹

hdfs://localhost:9000/test

hdfs://localhost:9000/test/out

点击Run按钮，运行程序。

运行完成后，查看运行结果

方法1：

hadoop fs -ls output

可以看到有两个输出结果，_SUCCESS和part-r-00000

执行hadoop fs -cat output/*

方法2:

展开DFS Locations，如下图所示，双击打开part-r00000查看结果

转载于:https://www.cnblogs.com/flyuz/p/9118002.html

在eclipse中使用hadoop插件相关推荐

Eclipse中使用Hadoop集群模式开发配置及简单程序示例（Windows下）
Hadoop入门配置系列博客目录一览 1. Eclipse中使用Hadoop伪分布模式开发配置及简单程序示例(Linux下) 2. 使用Hadoop命令行执行jar包详解(生成jar.将文件上传到df ...
SVN工具的使用和在Eclipse中安装GPD插件：(多步审批流，因此选择使用工作流（JBPM）来实现)...
前言重点解说SVN工具的还原版本号. 1.提交svn之前.要先更新文件.假设更新之后有版本号冲突的话.就线下解决掉冲突,在把该文件标记为已经解决冲突. 正文使用SVN还原历史版本号去除掉Ecli ...
Eclipse中的checkstyle插件
一.Checkstyle工具 Checkstyle是一款检查Java程序源代码样式的工具,它可以有效的帮助我们检视代码以便更好的遵循代码编写标准. 官方地址:http://checkstyle.sou ...
在eclipse中安装properties插件PropertiesEditor及设置(附图)，ASCII码转换成中文
在eclipse中安装properties插件PropertiesEditor及设置(附图),ASCII码转换成中文安装成功后ASCII还是不能转换成中文的,原因是设置里面没有把编码设置为utf8的 ...
eclipse中下载spring-tool-suite插件遇到的问题
eclipse中下载spring-tool-suite插件遇到的问题我的eclipse的版本4.7.0,接下来以下载我的eclipse的对应STS版本3.8.4为例,讲一下遇到的问题.不同版本的ec ...
Eclipse中安装TestNG插件
Eclipse中安装TestNG插件 HelpàInstall new Software Work with:填入http://beust.com/eclipse 点击Add Name:TestNG ...
怎么在eclipse中安装properties插件使其显示中文
在eclipse中编写properties文件时,如果直接写中文,它不会自动转换成ASCII编码,在浏览器中就会显示为乱码怎么在eclipse中安装properties插件. 1.首先,在eclips ...
eclipse中的javaEE插件
eclipse中的javaEE插件 1.在Eclipse中菜单help选项中选择install new software选项 2.在work with 栏中输入 Juno - http://downl ...
Eclipse中使用ModelGoon插件生成类图及顺序图
前言在做课设时,发现了几个比较强大的功能,如可以使用EA或Rose通过已有的类图生成对应的代码,但是通过测试发现,其生成的代码是简单的代码框架.但是如果已有项目代码,然后逆向生成类图呢?发现在E ...

在eclipse中使用hadoop插件

在eclipse中使用hadoop插件相关推荐

最新文章

热门文章