windows + hadoop + eclipse 过程记录
昨天在本机上搭建了伪分布式的hadoop,今天决定在eclipse中搭建hadoop的环境,毕竟磨刀不误砍柴工
安装的hadoop是2.7.5版本,要想使用eclipse写MapReduce需要一个 hadoop-eclipse-plugin-2.7.5.jar
在网上找了一波发现并没有可以下载下来直接使用的包,于是就到 https://github.com/winghc/hadoop2x-eclipse-plugin 下载源码,自己来编译
在编译此包前还需要 ant 可以在 http://ant.apache.org/ 下载
下载好两个文件后解压
ant:配置环境变量
Path中添加路径
然后就是浩大的改文件工程
hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin\build.xml
hadoop2x-eclipse-plugin-master\src\ivy\libraries.properties
hadoop2x-eclipse-plugin-master\ivy\libraries.properties
修改上述内容并修改
上面需要修改的内容可以到 hadoop-2.7.5\share\hadoop\common\lib 中查看
接下来进行编译,将在DOS中将文件夹切换到 hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin
执行
ant jar -Dversion=2.7.5 -Declipse.home=C:\Users\lichaoxing\eclipse\java-oxygen\eclipse -Dhadoop.home=D:\hadoop-2.7.5
注: C:\Users\lichaoxing\eclipse\java-oxygen\eclipse 是eclipse的路径,D:\hadoop-2.7.5 是hadoop的路径
然后回车后发现报了N多错误
其中一部分截图
问题在于指定的eclipse路径下的找不到这些包,原因是我在安装eclipse的时候下载的是.exe文件,在 eclipse\java-oxygen\eclipse\plugins 下没有这些包
于是我果断去下载了源码文件,果然在 eclipse\plugins 含有好多包
我将里面的包全部复制到 eclipse\java-oxygen\eclipse\plugins 中,再此编译,成功了
后来我发现原来安装的eclipse文件夹下其实是有那些依赖包的,只不过不在上述文件夹下,而是在 eclipse\java-oxygen\eclipse\dropins\plugins 中
如果更改下build.xml文件的内容,使路径为这个应该也可以解决问题,这里由于急于搭建好开发环境没有进行实验
由于强迫症,我把之前的eclipse删掉了,使用了新下载的源码包(eclipse4.8)
将 hadoop-eclipse-plugin-2.7.5.jar 拷贝到 eclipse 的 plugins 文件夹下
启动eclipse,终于见到了久违的 Hadoop 了,配置一下Hadoop的安装路径
在面板的下面 Map/Reduce Locations 中右键新建一个连接
点击右下角finish后成功创建连接,但是点击连接名前面的尖号就会报 空指针异常
找了大量资料,没能解决此问题,在一个博客里看到如果配置正确,可以忽略此问题 (https://blog.csdn.net/psp0001060/article/details/54728436)
于是尝试测试一下,准备好用于wordcount的file1,里面写了一点内容,上传到hdfs的input文件夹内,并指定输出在output/wordcount/
在代码区右键run as 选择hadoop
运行后报log4j的相关错误
解决办法:
- 在mian中添加一行代码
BasicConfigurator.configure();
再次运行,成功执行
- 工程文件夹下新建一个Source Folder,命名为source
右键source新建,Other,选择General下的File并命名为 log4j.properties
在文件中添加
log4j.rootLogger=INFO, stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n log4j.appender.logfile=org.apache.log4j.FileAppender log4j.appender.logfile.File=target/spring.log log4j.appender.logfile.layout=org.apache.log4j.PatternLayout log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
运行代码,成功解决问题
转载于:https://www.cnblogs.com/xinglichao/p/9642838.html
windows + hadoop + eclipse 过程记录相关推荐
- hadoop 安装过程记录
1)首先配置好了四个linux虚拟机 root pwd:z****l*3 关闭了防火墙 开通了 sshd服务 开通了 ftp服务 配置了 jdk 1.8 配置好了互信 (之前配置的过程忘了!--检查了 ...
- u盘启动安装ubuntu与windows双系统过程记录以及可能出现的问题提示
突然算算用ubuntu也挺久了,从一开始师兄帮忙装到后来自己装到后来给别人装,从14装到15装到16,第一次装胆战心惊怕连windows都进不了,到后来装多了实在是冷漠脸了--记忆太短暂,每次装机都遇 ...
- Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序
网友分享,拿来共享一下 这是Hadoop学习全程记录第2篇,在这篇里我将介绍一下如何在Eclipse下写第一个MapReduce程序. 新说明一下我的开发环境: 操作系统:在windows下使用wub ...
- windows下eclipse远程连接hadoop集群开发mapreduce
转载请注明出处,谢谢 2017-10-22 17:14:09 之前都是用python开发maprduce程序的,今天试了在windows下通过eclipse java开发,在开发前先搭建开发环境.在此 ...
- Python打包工具Pyintealler打包py文件为windows exe文件过程及踩坑记录+实战例子
Python打包工具Pyintealler打包py文件为windows exe文件过程及踩坑记录+实战例子 目录 Python打包工具Pyintealler打包py文件为windows exe文件过程 ...
- 虚拟机安装windows ghost版本系统记录完整过程
重点 1.磁盘一定要分成2个 2.直接安装第一个盘 就是进入CD后选1 自动安装 https://blog.csdn.net/hanzl1/article/details/79298787 虚拟 ...
- 使用PowerBuilder 9编绎DLL类型,有点问题.处理过程记录如下.”Error opening file ‘c:\windows\system32\cgen\en32t.h’”
使用PowerBuilder 9编绎DLL类型,有点问题.处理过程记录如下."Error opening file 'c:\windows\system32\cgen\en32t.h'&qu ...
- 简明Hadoop配置(3)——windows下eclipse连接虚拟机
在windows下配置,还需要当心IP地址和eclipse配置时的问题,这需要单独说一下. 在Ubuntu下eclipse新建hadoopIP直接填localhost就好,但是在windows下肯定是 ...
- 封装自己专属的真正的纯净版Windows系统过程记录(1)——封装环境准备
文章目录 前言 工具准备 封装环境安装 1. 新建虚拟机 2. 磁盘空间设置 3. 上述完成后,点编辑虚拟机设置,删掉不必要的3个硬件.然后继续点添加,添加一个硬盘设备,也就是物理映射磁盘 4. 添加 ...
- 11月3日云栖精选夜读:《maven实战》读书笔记2——maven安装(windows和eclipse插件)...
前言 由于我的工作中开发环境就是windows,IDE是eclipse,因此安装也只涉及和记录这两部分,在看书和动手的过程也就直接跳过其他部分. 笔记 windows中maven的安装 安装条件 ma ...
最新文章
- JSON.parse解析特殊字符报错解决方案
- 慢慢学Linux驱动开发,第七篇,scull的使用
- 通过nginx访问web,出现ERR_CONTENT_LENGTH_MISMATCH解决方法
- 【面试题】Spring框架中Bean的生命周期
- 学习实例.文章管理.数据库操作类.DBUtil.java
- VS2010+matlab2012b环境下C++写MAT文件
- es6 --- promise.prototype.then的链式引用
- ResNet到底深不深?
- rabbitmq队列中消息过期配置
- VScode配置C/C++环境以及stdafx.h报错解决方法
- EF 和 EF CORE 逆向生成实体类
- HTML、CSS要点精华
- 【信奥赛一本通】1238:一元三次方程求解(详细代码)
- 联通在线信息科技有限公司社招!
- 王学岗视频编码————视频编解码基础与MediaCodec编解码(对应1234节)
- 使用Fiddler5和雷电模拟器4.0.83的抓包配置
- 【Java学习笔记】1:Java语言基础
- Verdi/Coverage tool 学习 第3节(常用编译仿真选项篇)
- MATLAB中的随机数
- antV/L7@2.2.19-」世界地图+散点图