Eclipse连接hdfs
Eclipse连接Hadoop
一、实验目的
1.通过Eclipse连接Hadoop
2.用Eclipse对HDFS进行操作
二、实验原理
Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。通过Eclipse的Hadoop插件可以使Eclipse对HDFS进行操作,同时,可以进行程序编写后的对集群进行MepReduce操作。
从Eclipse3.5开始,安装目录下就多了一个dropins目录。只要将插件解压后拖到该目录即可安装插件。
比如安装svn插件subclipse-1.8.16.zip,只需要如下的三步即可:
1、使用winrar等压缩软件将压缩包解压至某一文件夹,比如subclipse-1.8.16
2、将此目录移动/复制至Eclipse安装目录下的dropins目录
3、重启Eclipse。
由于此种安装方式可以将不同的插件安装在不同的目录里,并且不用麻烦地写配置文件,因此管理起来会非常方便,推荐使用
三、实验环境
虚拟机数量:3台
操作系统:Ubuntu14.04
Hadoop:Hadoop 2.2.0
hadoop-common-2.2.0-bin-master.zip
Java:java version "1.7.0_51"
Eclipse:eclipse-inst-win64.exe
四、实验内容及步骤
1. 将下载的hadoop-eclipse-plugin-2.2.0.jar文件放到eclipse的dropins目录下,重启eclipse打开Windows -> Preferences后,在窗口左侧会有Hadoop Map/Reduce选项,点击此选项,在窗口右侧设置Hadoop(已配置好的Hadoop)安装路径,如下图
图4-1
2. 通过Window-> Open Perspective->Other菜单打开Map Reduce视图,在eclipse控制台出现Map/Reduce Locations
3. 在控制台右击图标,进行配置如图,其中Host配置需要连接的master的IP,若在本机Hosts文件中已配置master IP可直接写master
图4-2
4. 点击DFSLocations-->Hadoop如果能显示文件夹如图所示,说明配置正确
图4-3
5. 新建项目,File-->New-->Other-->Map/ReduceProject,可复制hadoop-2.2.0-src\hadoop-2.2.0-src\hadoop-mapreduce-project\hadoop-mapreduce-examples\src\main\java\org\apache\hadoop\examples下WordCount.java代码
6. 上传模拟数据文件夹,为了运行程序,我们需要一个输入的文件夹,和输出的文件夹。
图4-4
通过hadoop shell命令进行创建输入文件夹hadoop fs -mkdir -p /test/data,之后对文件夹进行权限修改,hadoop fs -chmod -R 777 /test,
在本地创建一个word.txt,输入一些英文单词,右击eclipseDFS Locations进行文件上传
7. 将hadoop-common-2.2.0-bin-master.zip解压,把hadoop-common-2.2.0-bin-master下的bin全部复制放到我们下载的Hadoop2.2的Hadoop2.2/bin目录下
8. Hadoop2.2配置变量环境HADOOP_HOME 和path,如图所示
图4-5
图4-6
9. 将hadoop-common-2.2.0-bin-master下的bin的hadoop.dll放到C:\Windows\System32下,然后重启电脑,否则会出现"main"java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z错误
10. 点击标题栏Run,通过RunConfigurations进行配置如图配置
图4-7
11. 运行,点击output下part-r-00000查看结果,如图所示
图4-8
Eclipse连接hdfs相关推荐
- eclipse连接hdfs操作设置用户名
问题:windows下用eclipse连接hdfs时用户名默认是主机名 解决:win下环境变量配置一下:HADOOP_USER_NAME=hdfs 转载于:https://www.cnblogs.co ...
- linux 远程权限不够,Eclipse连接远程Hadoop集群开发时权限不足问题解决方案
eclipse连接远程Hadoop集群开发时报错 Exception in thread "main" org.apache.hadoop.security.AccessContr ...
- win764bit下Eclipse连接ubuntu中hadoop2.6经验总结
作为初学者,总结一下配置hadoop2.6的心得体会. 首次配置时采用虚拟机中运行Ubuntu14.04,直接配置hadoop2.6,并在其中运行Eclipse.于自己的机子性能较为一般(4核+4G) ...
- Eclipse连接Hadoop集群(详细版)
颜子之不较,孟子之自反,是贤人处横逆之方 子贡之无谄,原思之坐弦,是贤人守贫穷之法 相关连接 HDFS相关知识 Hadoop分布式文件系统(HDFS)快速入门 Hadoop分布式文件系统(HDFS)知 ...
- Window平台的eclipse连接linux的hadoop集群
前提条件:之前已经在VM上虚拟了三台linux,并且安装了hadoop集群 feixu-master, feixu-slave1, feixu-slave2, feixu-slave3 需求: 为了开 ...
- 简明Hadoop配置(3)——windows下eclipse连接虚拟机
在windows下配置,还需要当心IP地址和eclipse配置时的问题,这需要单独说一下. 在Ubuntu下eclipse新建hadoopIP直接填localhost就好,但是在windows下肯定是 ...
- Eclipse连接远程Hadoop集群运行WordCount例程
hadoop开发主要分为两种,第一种是脱离集群开发:第二种是连接远程Hadoop集群,将我们开发的API提交hadoop执行: http://www.aboutyun.com/thread-6950- ...
- android点滴13:Eclipse连接不上模拟器(一片空白,无报错)
2019独角兽企业重金招聘Python工程师标准>>> Eclipse莫名其妙地连接不上模拟器,Eclipse已经重启过了,没重启模拟器(启动耗时),就是连接不上,DDMS----- ...
- eclipse连接mysql8报错_Eclipse连接MySQL8.0.13 win10 64位
看了许多教程,就是连接不上本地数据库,很是苦恼啊!最后还是连上了,踩过的坑很多,今天写一篇eclipse 连接mysql的教程,和大家分享一下,如果有相同问题,敬请参考! 首先就是要下载window1 ...
- eclipse拒绝mysql,eclipse连接mysql的有关问题
当前位置:我的异常网» Eclipse » eclipse连接mysql的有关问题 eclipse连接mysql的有关问题 www.myexceptions.net 网友分享于:2015-08-26 ...
最新文章
- 【ETL】ETL讲解(很详细!!!)
- java http请求头_http的请求头含义及如何用java发送
- 华尔街为何热捧优酷网?
- Traitors Eight 硅谷“八叛徒”
- Doom3证明了“保持简单”有效。
- 在Linux Ubuntu上编译DNX
- 沈航计算机学院杨华,BCD码的加法.doc
- php socket实践
- 84、举办大型群众性活动的消防安全要求
- 浅谈PCA到PCANet
- 实际我的暗影精灵4设置U盘启动的方法
- 浅谈Servlet与JSP
- 10月,你知道有哪些程序员热点新书上榜了吗?
- (manacher)马拉车算法专题题目
- 人工智能与机器学习——人脸表情识别
- 2.2 获取图像感兴趣区域_DIC (数字图像相关法)
- EN 45545最新强制性防火标准
- 微信支付服务商邀请预约商户授权分账(“没有分账权限”)
- 零开始学习OpenWrt完美教程
- 小程序开发:用原生还是选框架(wepy/mpvue/uni-app/taro)?
热门文章
- linux和windows下TIME_WAIT过多的解决办法
- 机器学习(2)——K-近邻算法讲解
- Maven修改默认JDK
- 学习python的第六天---1(理论)
- php编程 之php基础 表单
- python 3全栈开发-面向对象之绑定方法(classmethod与staticmethod的区别)、多态、封装的特性property...
- 【VirtualBox】设置NAT端口映射-SSH登录
- 如何防止JAVA反射对单例类的攻击?
- ASP.net导出Excel的几种方式
- 剪枝乱炖 | 模型加速与压缩