2019独角兽企业重金招聘Python工程师标准>>>

一、部署准备

操作系统：Centos7.2

Hadoop版本：Apache Hadoop 2.6.4

Java版本：1.7.0_79

Eclipse版本：Mars

二、Eclipse开发环境设置

第一步、下载插件部署

hadoop2x-eclipse-plugin的github地址：
https://github.com/winghc/hadoop2x-eclipse-plugin

将hadoop-eclipse-plugin-2.6.0.jar置入$ECLIPSE_HOME/plugins/中，然后重启eclipse。

第二步、配置环境变量HADOOP_HOME

进入eclipse的windows菜单-->Hadoop Map/Reduce设置HADOOP_HOME

第三部、切换工作目录

切换工作目录到Map/Reduce。

第四部、创建Location

在下方的的Map/Reduce Locations可以创建和修改HDFS Location的配置。

Location name：定义这个Location的名字，随意取个。

Map/Reduce(V2) Master：

Host：Yarn的Resourcemanager IP Address(参数yarn.resourcemanager.hostname值)

Port：Yarn的Resourcemanager 端口(参数yarn.resourcemanager.address值的端口)

DFS Master：

Host：HDFS的namenode IP Address(参数dfs.namenode.rpc-bind-host值)

Port：HDFS的namenode 端口(参数dfs.namenode.rpc-address值的端口)

左边Project Explorer显示DFS Locations-->breath.

可以直接次目录树进行操作，如：创建目录、删除目录、上传文件、下载文件、查看文件、刷新。

第五部、创建MapReduce工程

File --> New --> Other --> Map/Reduce Project

创建的MapReduce工程已经自带执行mapreduce所需的依赖。不需自己添加其他依赖。

转载于:https://my.oschina.net/yulongblog/blog/738303

eclipse+MapReduce相关推荐

【数据平台】Eclipse+MapReduce开发环境(集群运行模式)
Eclipse+MapReduce开发环境集群部署centos+jdk1.8+Hadoop2.7.2: 开发端windows+Eclipse Mars.1 Release (4.5.1) 1)had ...
通过eclipse调试MapReduce任务
利用MapReduce利器作开发,不论从思想上还是技能上都是新的体验.以下罗列下如何利用eclipse调试MR任务. (本人环境:hadoop 1.0.2,部署在linux上,本地windows开发) ...
eclipse中hadoop2.3.0环境部署及在eclipse中直接提交mapreduce任务
转自:http://my.oschina.net/mkh/blog/340112 1 eclipse中hadoop环境部署概览 eclipse中部署hadoop包括两大部分:hdfs环境部署和mapr ...
使用Eclipse编译运行MapReduce程序 Hadoop2.6.0/Ubuntu
上篇介绍了使用命令行编译打包运行自己的MapReduce程序,使用 Eclipse 更加方便.要在 Eclipse 上编译和运行 MapReduce 程序,需要安装 hadoop-eclipse-pl ...
Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序
网友分享,拿来共享一下这是Hadoop学习全程记录第2篇,在这篇里我将介绍一下如何在Eclipse下写第一个MapReduce程序. 新说明一下我的开发环境: 操作系统:在windows下使用wub ...
Linux上搭建Hadoop2.6.3集群以及WIN7通过Eclipse开发MapReduce的demo
随笔 - 70 文章 - 0 评论 - 88 Linux上搭建Hadoop2.6.3集群以及WIN7通过Eclipse开发MapReduce的demo 近期为了分析国内航空旅游业常见安全漏洞,想到 ...
Hadoop+eclipse运行MapReduce程序
前面,我们已经通过eclipse下安装Hadoop的插件配置好了基于Hadoop+eclipse的MapReduce开发环境.现在,我们在这个Hadoop+eclipse环境下运行MapReduce程 ...
Win系统下用Eclipse中运行远程hadoop MapReduce程序出现Permission denied错误
Win系统下用Eclipse中运行远程hadoop MapReduce程序出现报错 WARNING: job_local1833185613_0001 org.apache.hadoop.securi ...
eclipse远程连接hadoop_1个文件，3个类，mapreduce就是这么简单，动手搭建Hadoop（8）...
01 ssh免密安装 02 jdk安装 03 hadoop伪分布式安装 04 hadoop全分布式 05 hadoop高可用 06 用hadoop的sdk进行开发 07 搭建yarn 上次在hdfs上 ...

eclipse+MapReduce