颜子之不较，孟子之自反，是贤人处横逆之方
子贡之无谄，原思之坐弦，是贤人守贫穷之法

Eclipse连接Hadoop集群

注意事项

该Hadoop集群为远程Hadoop集群
Hadoop集群已配置完毕，若未配置完毕，请转至多台Linux虚拟机Hadoop集群的安装与部署（超详细版）
Eclipse所在的操作系统为Windows
Eclipse所在操作系统已安装JDK
Eclipse所在系列为 Eclipse IDE for Java EE

准备文件

hadoop-2.6.0.rar 提取码xix0
hadoop-eclipse-plugin-2.6.0.jar 提取码9uzl

具体步骤

将hadoop-2.6.0.rar压缩包解压
增加系统变量HADOOP_HOME，变量值为hadoop-2.6.0.rar压缩包解压所在的目录
在系统变量中对变量名为PATH的系统变量追加变量值，变量值为 %HADOOP_HOME%/bin
将hadoop-eclipse-plugin-2.6.0.jar拷贝到Eclipse安装目录中dropins文件夹
注意：该插件版本必须与Hadoop版本一致
GitHub源码下载
打开hadoop-2.6.0的安装目录，打开bin文件夹，复制hadoop.dll和winutils.exe文件，打开目录C:\Windows\System32，将以上两个文件拷贝到该文件夹
打开Eclipse，依次点击“Window”→“Preferences”→“Hadoop Map/Reduce”，Hadoop installation directory配置为hadoop-2.6.0.rar压缩包解压目录

注意，若在Preferences中找不到Hadoop Map/Reduce，则cd到Eclipse安装目录，执行./eclipse -clean，然后重启Eclipse
依次点击“Window”→“Show View”→“Other…”→“MapReduce Tools”→“Map/Reduce Locations”
在“Map/Reduce Locations”视图中右键“New Hadoop location…”，新建连接
弹出如下窗口，这个是初始界面
下面我讲解这些配置如何填写

Location name
可以任意填写
Map/Reduce(V2) Master
- Host
  方法一：填写远程Hadoop所在虚拟机的IP地址，比如我的是172.16.29.94
  方法二：直接填入其主机名（比如我的是master），要在相关文件中进行配置：进入目录C:\Windows\System32\drivers\etc，找到hosts文件，打开后加入IP地址与主机名的映射，如下图所示
- Port（划重点！我在这里掉进过很多坑！）
- 将远程集群的Hadoop安装目录下**/hadoop/hadoop-2.7.7/etc/hadoop/目录下的core-site.xml**、hdfs-site.xml、mapred-site.xml、slaves和yarn-site.xml5个文件通过Xftp等SFTP文件传输软件将五个文件复制，并在本机的（Windows系统）中Hadoop安装目录下的**\hadoop-2.6.0\etc\hadoop**目录中使用以上5个文件覆盖原文件
  对于5个文件如何配置，强烈建议阅读多台Linux虚拟机Hadoop集群的安装与部署（超详细版）
- 打开复制的yarn-site.xml文件，找到变量名为yarn.resourcemanager.address的变量值，我的文件的变量值为master:8032
- 将该变量值中的端口号填入Map/Reduce(V2) Master的Port中，我需要填入的值为8032
DFS Master
- Port
  - 打开复制的core-site.xml文件，找到变量名为fs.defaultFS的变量值，我的文件的变量值为hdfs://master:9000
  - 将该变量值中的端口号填入DFS Master的Port中，我需要填入的值为9000
User name
填写远程Hadoop所在的操作系统的用户名，我的是root

综上，配置结果如下、

点击Finish即可
11. 查看Project Explorer中的DFS Locations，依次展开文件夹，若能查看远程Hadoop集群的HDFS内容，则Eclipse连接Hadoop集群成功
注意：若找不到DFS Locations，或报出“Map/Reduce location status updater”错误，需要执行以下步骤

点击Eclipse右上角的Open Perspective图标
在弹出的窗口点击Map/Reduce选项，点击Open即可

WordCount程序运行示例

使用Java API编写WordCount程序

Eclipse连接Hadoop集群（详细版）相关推荐

eclipse链接Hadoop集群时报错Error：Call From xxx/xxx.xxx.xxx.xxx to hostname1:9000 failed on connection excep
今天用eclipse连接Hadoop集群的时候突然给我报了这样一个错误:Error:Call From xxx/xxx.xxx.xxx.xxx to hostname1:9000 failed on ...
eclipse手动pom本地包_环境篇--Eclipse如何远程连接Hadoop集群调试
关注 DLab数据实验室公众号带你一起学习大数据- 写在前面:最近终于闲下来了,打算把之前了解到的内容整理一下,先从搭建环境开始吧- 现在接触大数据开发的朋友可能直接使用Spark或者其他的查询引 ...
windows下eclipse远程连接hadoop集群开发mapreduce
转载请注明出处,谢谢 2017-10-22 17:14:09 之前都是用python开发maprduce程序的,今天试了在windows下通过eclipse java开发,在开发前先搭建开发环境.在此 ...
第07章连接Hadoop集群
序言 1.内容介绍本章介绍了Hadoop的综合概述.连接Hadoop集群的基本条件以及具体连接的实现步骤. 2.理论目标了解Hadoop分布式文件系统了解MapReduce计算框架掌握Ap ...
myeclipse连接hadoop集群编程及问题解决
原以为搭建一个本地编程测试hadoop程序的环境很简单,没想到还是做得焦头烂额,在此分享步骤和遇到的问题,希望大家顺利. 一.要实现连接hadoop集群并能够编码的目的需要做如下准备: 1.远程had ...
阿里云 ECS 服务器上如何搭建 Hadoop 集群详细步骤图解
1.前言在讲述Hadoop集群搭建之前,首先要了解Hadoop和集群两个名词,Hadoop是由Apache基金会开发的分布式系统基础架构,简单理解就是大数据技术应用的基础.集群可以理解为多台装有ha ...
Window平台的eclipse连接linux的hadoop集群
前提条件:之前已经在VM上虚拟了三台linux,并且安装了hadoop集群 feixu-master, feixu-slave1, feixu-slave2, feixu-slave3 需求: 为了开 ...
hadoop(05)、使用Eclipse连接远程Hadoop集群
2019独角兽企业重金招聘Python工程师标准>>> 在前面的文中我们分别搭建了单机和集群的Hadoop环境,今天我们将实践使用Eclispe开发工具安装 hadoop的开发插件, ...
HADOOP集群大数据词频统计及设计比较（完整教程）
###如若发现错误,或代码敲错,望能评论指正!!! 通过百度网盘分享的文件:Hadoop相关需要的软件链接:https://pan.baidu.com/s/1XzDvyhP4_LQzAM1auQCS ...

Eclipse连接Hadoop集群（详细版）

相关连接

HDFS相关知识

Hadoop集群的安装与部署

Hadoop集群连接

HDFS Java API