【甘道夫】Win7x64环境下编译Apache Hadoop2.2.0的Eclipse小工具

目标：

编译Apache Hadoop2.2.0在win7x64环境下的Eclipse插件

环境：

win7x64家庭普通版

eclipse-jee-kepler-SR1-win32-x86_64.zip

Apache Ant(TM) version 1.8.4 compiled on May 22 2012

java version "1.7.0_45"

參考文章：

http://kangfoo.u.qiniudn.com/article/2013/12/build-hadoop2x-eclipse-plugin/

插件源代码下载：

https://github.com/winghc/hadoop2x-eclipse-plugin

前提：

ant、jdk、eclipse、Apache hadoop 2.2.0安装包都准备好

插件源代码包已经下载好

在虚拟机上已经部署好 Apache hadoop 2.2.0环境

步骤1：

将 Apache Hadoop 2.2.0的安装包拷贝至随意windows文件夹，我使用的文件夹是D:\Development_ProgramFiles_2014\hadoop-2.2.0

切记：整个路径不能出现空格。否则ant编译过程会出错。

步骤2（该步骤应该能够省略）：

将Hadoop集群上存配置文件的目录hadooproot/etc/hadoop/复制到 D:\Development_ProgramFiles_2014\hadoop-2.2.0\etc下

步骤3：

执行cmd，进入插件源代码根文件夹。执行

cd src/contrib/eclipse-plugin

步骤4：

运行 ant jar -Dversion=2.2.0 -Declipse.home =D:\Development_ProgramFiles_2014\eclipse2014 -Dhadoop.home = D:\Development_ProgramFiles_2014\hadoop-2.2.0

注意：命令中须要指定需编译插件的目标eclipse安装文件夹、hadoop安装文件夹。

切记：两个文件夹的全路径中都不能带有空格。

步骤5：

然后就是漫长等待了，主要慢的target:ivy-download。ivy-resolve-common这两步。

最后生成的插件在

hadoop2x-eclipse-plugin-master\build\contrib\eclipse-plugin\hadoop-eclipse-plugin-2.2.0.jar

步骤6：

将 hadoop-eclipse-plugin-2.2.0.jar复制到eclipse的plugins文件夹下，启动eclipse

步骤7：

Window--》Preferences 配置hadoop根文件夹：

注意：配置该路径不过为了运行MR程序过程中。eclipse能找到对应的jar包。

步骤8：

打开mapreduce的view：

配置location：

注意：MR Master和DFS Master配置必需和mapred-site.xml和core-site.xml等配置文件一致。

步骤9：

打开Project Explorer。查看HDFS文件系统：

步骤10：

新建mapreduce项目

创建mapreduce程序：

执行MR程序。提示无法连接集群，请參见兴许文章：

【甘道夫】Win7环境Eclipse连接Hadoop2.2.0

http://blog.csdn.net/u010967382/article/details/25368313

转载于:https://www.cnblogs.com/lcchuguo/p/4644012.html

【甘道夫】Win7x64环境下编译Apache Hadoop2.2.0的Eclipse小工具相关推荐

【甘道夫】Win7x64环境下编译Apache Hadoop2.2.0的Eclipse插件
目标: 编译Apache Hadoop2.2.0在win7x64环境下的Eclipse插件环境: win7x64家庭普通版 eclipse-jee-kepler-SR1-win32-x86_64.z ...
Centos 6.5 X64 环境下编译 hadoop 2.6.0 --已验证
详细参照源码路径下的BUILDING.txt文件 Centos 6.5 x64 hadoop 2.6.0 jdk 1.7 protobuf-2.5.0 maven-3.0.5 set environm ...
如何编译Apache Hadoop2.2.0源代码
转自(原文图片已丢失,本文修复图片,重新排版,并更正部分原文错误):http://www.superwu.cn/2013/12/26/913 欢迎和大家交流技术相关问题: 邮箱: jiangxinnj ...
【甘道夫】MapReduce实现矩阵乘法--实现代码
之前写了一篇分析MapReduce实现矩阵乘法算法的文章: [甘道夫]Mapreduce实现矩阵乘法的算法思路为了让大家更直观的了解程序运行,今天编写了实现代码供大家參考. 编程环境: java v ...
用Python与Watson，将《魔戒》甘道夫的性格可视化！
全文共4301字,预计学习时长9分钟图源Unsplash,由Marko Blažević提供著名心理学家詹姆斯· 彭内贝克曾说:"仔细观察人们通过语言表达思想的方式,会感受到他们的性格特 ...
超详细Windows环境下使用Apache部署Django项目教程
目录超详细Windows环境下使用Apache部署Django项目教程 1.什么是Apache 2.安装并配置Apache 2.1 下载Apache 2.2 解压Apache到文件夹 2.3 配置c ...
【c语言 gcc9.1.0环境下编译报错】error: ‘true’ undeclared (first use in this function)
问题网上验证一个单链表是否有环的c语言demo,放到gcc9.1.0的环境下编译,发现编译报错: error: 'true' undeclared (first use in this functi ...
linux mysql5.6编译_Linux 环境下编译安装MySQL5.6的笔记记录
一.首先搭建好Linux环境,我这边使用的是redhat enterprise 6.5,并且建议磁盘划分逻辑卷,以便后期的扩容工作. 二.环境搭建好了之后,我们就要去准备MySQL的安装文件,到现在为 ...
ubuntu16.04 在cuda9.0环境下编译安装opencv2.4.13.7
ubuntu16.04 在cuda9.0环境下编译安装opencv2.4.13.7 安装步骤: 1.安装cuda9.0:https://blog.csdn.net/zhuangwu116/articl ...

【甘道夫】Win7x64环境下编译Apache Hadoop2.2.0的Eclipse小工具

【甘道夫】Win7x64环境下编译Apache Hadoop2.2.0的Eclipse小工具相关推荐

最新文章

热门文章