hadoop配置eclipse的开发环境
hadoop配置eclipse的开发环境
一.前言
由于大三学习需要,而且网上的教程都有点模糊,导致我走了不少弯路,因此我写下这篇博客,本文仅供参考,如果有不足之处,还望指出。
二.安装eclipse
1.下载eclipse jee neon版
这里附上下载链接,当然你也可以前往官网自行下载:
http://www.eclipse.org/downloads/download.php?file=/technology/epp/downloads/release/neon/1a/eclipse-jee-neon-1a-linux-gtk-x86_64.tar.gz
2.解压并安装eclipse
命令行解压命令,我这里选择的是解压到home目录下面:
tar -zxvf eclipse-jee-neon-1a-linux-gtk-x86_64.tar.gz -C /home
解压完成后可以根据需要在桌面创造快捷方式。方法如下:
我这里的eclipse文件在home目录下,所以打开home目录下的eclipse文件夹,选中eclipse,make link,创建完的快捷方式可以移动到桌面上。
3.下载与eclipse的jar包
下载的jar包要求Linux系统一致、hadoop版本一致、需与eclipse匹配,这里我安装的eclipse是2.6.0版本的,下载完后把jar包移动到eclipse的plugins目录下,我们直接用命令行操作:
cp hadoop-eclipse-plugin-2.6.0.jar /home/eclipse/plugins
现在可以打开eclipse了,我打开eclipse,弹出一个启动的选项,我们直接点击ok.
在eclipse图形界面中点击左上角菜单上Windows 工具栏—>选择show view—>others,如图:
(1)点击Window ----->Perspective----->open Perspective 选择Map/Reduce
完成以上操作后我们可以得到以下界面:我们点击右下角的大象,new hadoop location.
接下来的步骤就比较重要了,我在这踩了一点坑,归根结底还是有些教程写的比较模糊,并没有说明以下的配置的意思,我在这里大概的整理了下,location name:填写一个名字,我这里填写exam1 host:主节点的IP地址, 左边的port 默认 , 右边的port 填写core-site.xml文件里面的hdfs端口号,我这里设置的8020
创建完成后我们看到以下界面,折叠的部分依次点开就可以了:
然后创建项目,map/reduce项目
我们可以看到这里相应的包也导入了进来,但是我们还有一些hdfs的包还没导入进来,我们接着导入hdfs操作的包,操作如下:
我们点击到如下目录进行导入包,/home/hadoop/hadoop/share/hadoop/common,导入第一个包;/home/hadoop/hadoop/share/hadoop/common/lib导入所有包 ; /home/hadoop/hadoop/share/hadoop/hdfs的一个包,如图中所示。/home/hadoop/hadoop/share/hadoop/hdfs/lib的所有包。导入完所有的包后记得apply。
三.eclipse的操作与实验
1.读单词
配置操作中的输入输出,达到测试的目录
1)下面,我给你这样一段代码:注意,我这里的包是hdfs,类名是HdfsDemo,这段代码的功能如下:对单词计数,最后显示出来。
package hdfs;import java.io.IOException;
import java.util.*;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.conf.*;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapred.*;
import org.apache.hadoop.util.*;public class HdfsDemo {public static class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> {private final static IntWritable one = new IntWritable(1);private Text word = new Text();public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter)throws IOException {String line = value.toString();StringTokenizer tokenizer = new StringTokenizer(line);while (tokenizer.hasMoreTokens()) {word.set(tokenizer.nextToken());output.collect(word, one);}}}public static class Reduce extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> {public void reduce(Text key, Iterator<IntWritable> values, OutputCollector<Text, IntWritable> output,Reporter reporter) throws IOException {int sum = 0;while (values.hasNext()) {sum += values.next().get();}output.collect(key, new IntWritable(sum));}}public static void main(String[] args) throws Exception {JobConf conf = new JobConf(HdfsDemo.class);conf.setJobName("wordcount");conf.setOutputKeyClass(Text.class);conf.setOutputValueClass(IntWritable.class);conf.setMapperClass(Map.class);conf.setReducerClass(Reduce.class);conf.setInputFormat(TextInputFormat.class);conf.setOutputFormat(TextOutputFormat.class);FileInputFormat.setInputPaths(conf, new Path(args[0]));FileOutputFormat.setOutputPath(conf, new Path(args[1]));JobClient.runJob(conf);}
}
2)我们可以在运行的时候选择run configurations , 然后配置输入的文件是哪个,输出的文件必须是那个目录没有的,也就是说是一个由我们自己定义的新目录,不然会报错。
3)这里我的text1.txt文件位与hdfs文件系统的根目录,内容如下:
4)运行后刷新整个exam,我们可以看到根目录出现了一个output目录,里面有两个文件,点击part开头文件,我们可以看到:
好的,eclipse配置完成。
四.结尾
以上就是我们的eclipse的配置过程,如果有不明白的地方,都可以在评论区留言。
接下来的一篇博客将介绍hdfs的java Api 操作,以及我会以我的实验作业作为例子进行总结。
hadoop配置eclipse的开发环境相关推荐
- ubuntu 16.04 中配置Eclipse c++开发环境
Eclipse 是跨平台的开发工具,在ubuntu中使用十分方便. 安装时要安装 JDK.Eclipse.CDT 三部分. 一.安装JDK 1.下载JDK,并解压 下载地址: http://www.o ...
- C++:Windows环境下基于Eclipse配置C/C++开发环境
C++:Windows环境下基于Eclipse配置C/C++开发环境 目录 Windows下的MinGW下载.安装和配置 1.MinGW下载 2.MinGW安装与配置 3.基于Eclipse配置 Wi ...
- Eclipse python 开发环境配置
Eclipse python 开发环境配置 由于项目需要用到脚本配置的东西,看了看Python能够做到基本上需要的工作,选择了 2.7.3稳定版本来进行测试开发. 转自: Eclipse+python ...
- Eclipse+CDT+MinGW 配置 C/C++ 开发环境
Eclipse+CDT+MinGW 配置 C/C++ 开发环境 开场白:谨以此文献给所有喜欢探索和热爱开源软件的朋友们. 1:首先你得有 JAVA运行环境,这样你才可以运行eclipse ,你可以到h ...
- Python的IDE:基于Eclipse/MyEclipse软件的PyDev插件配置python的开发环境(不同python项目加载不同版本的python)—从而实现Python编程图文教程之详细攻略
Python的IDE:基于Eclipse/MyEclipse软件的PyDev插件配置python的开发环境(不同python项目加载不同版本的python)-从而实现Python编程图文教程之详细攻略 ...
- 使用eclipse安装python插件_在windows下用eclipse + pydev插件来配置python的开发环境
在windows下用eclipse + pydev插件来配置python的开发环境 一.安装 python 可以到网上下个Windows版的python,官网为:https://www.python. ...
- Eclipse Eclipseme wtk配置JAVA ME开发环境
Eclipse Eclipseme wtk配置JAVA ME开发环境 lu_ing80h来自[ 2008-11-3 19:53:00 | By: sunny ] Eclipse3.3+Eclips ...
- 【数据平台】Eclipse+MapReduce开发环境(集群运行模式)
Eclipse+MapReduce开发环境 集群部署centos+jdk1.8+Hadoop2.7.2: 开发端windows+Eclipse Mars.1 Release (4.5.1) 1)had ...
- 如何配置能使j2me开发环境处于正常状态
很多人在开始学习j2me的时候遇到的第一个问题就是如何配置j2me的开发环境,我一般用的是eclipse开发,所以在这里说一下在eclipse中如何配置j2me的开发环境: 1.首先需要了解在配置前要 ...
最新文章
- 《UML面向对象设计基础》—第1章1.2节信息/实现隐藏
- VB.NET完成一个功能增强的记事本
- VTK:相互作用之SelectAVertex
- excel如何把顺序倒过来_Excel 中的计算运算符和优先顺序级别
- JVM调优总结(八)-典型配置举例2
- 全国计算机等级考试题库二级C操作题100套(第99套)
- Python黑帽编程2.8 套接字编程
- DWR2学习笔记(一)
- namedtuple可命名元组
- eclipse——Error exists in required project Proceed with launch?
- javascript第三节
- linux查看usb设备名称,Linux系统下查看USB设备名及使用USB设备
- 拓端tecdat|R语言通过WinBUGS对MGARCH和MSV模型进行贝叶斯估计和比较
- my sql 触发器_My SQLServer 触发器
- php gethostbyname ipv6,支持IPV6方法
- Windows Server 2016 使用域管理员加域之后无法访问指定设备、路径或文件
- linux超时设置函数,I/O操作上设置超时之alarm闹钟法
- 五种方法输出大写字母A(c语言)
- Python爬取58同城租房数据,完美解决字体加密
- 学生个人网页设计作品 学生个人网页模板简单个人主页成品 个人网页制作 HTML学生个人网站作业设计