eclipse远程连接Hadoop遇到的一些问题
eclipse远程连接Hadoop遇到的一些问题
网上的教程很多,但是大部分并不详细,省略了很多过程,导致配置不成功。目前看到的最好的一篇配置博客是最详细云服务器Centos7下搭建Hadoop伪分布式集群(防各种坑)
在这里对这篇博客进行一些补充(也算是自己踩的几个坑)
环境:hadoop-2.7.5、jdk-1.8、阿里云服务器、伪分布式、eclipse远程连接
1.JDK版本
写下本文的时候,Apache官网已经可以下载jdk14了.如果使用该版本的jdk,那么在配置好Hadoop相关文件后,对HDFS进行操作,如:
hdfs dfs -ls /
这样的查看命令,会出现各种warning.虽然不影响使用,但是每次运行命令的时候看起来会很烦,所以最好还是使用JDK8吧。
2.DataNode无法启动
在运行start-dfs.sh
后,发现NameNode和SecondaryNameNode都启动了,但是DataNode却启动不了。
这是因为DataNode与NameNode的clusterID不同导致的该问题。需要将./hadoop/tmp/dfs/name/current/VERSION中NameNode的clusterID复制到./hadoop/tmp/dfs/data/current/VERSION中的clusterID,再次启动,就可以看到DataNode也启动了。
也可以将./hadoop/tmp/dfs中的文件都删除(name、data等)然后hadoop namenode -format
再启动.
ps.这些错误信息是可以在log中看到的,log的位置在./hadoop/tmp/dfs下的.log文件。也可以在远程使用浏览器(使用ip+50070端口号连接)在Utilities-Logs中可以阅读这些log文件。
3.NameNode的位置
需要注意的是,在配置core-site.xml时,
<name>fs.defaultFS</name> <value>hdfs://yourname:9000</value>
</property>
这里的yourname是阿里云的私网ip,不可以设置成localhost或127.0.0.1.
4.上传或下载的文件为0kb
这有很多原因。
a.最详细云服务器Centos7下搭建Hadoop伪分布式集群(防各种坑)中描述了一种,此处不再赘述.
b.防火墙没有开放.这里的防火墙,不仅仅要开放NameNode节点的防火墙,更需要开放DataNode节点的防火墙.因为客户端在访问NameNode后,NameNode会返回相应的DataNode节点的地址,如果DataNode节点的地址没有开放的话,则客户端无法访问到DataNode节点.
c.本机无法解析DataNode节点的地址.由于NameNode返回的是DataNode节点的私网ip,所以客户端是无法解析该ip的.为了解决这个问题,首先需要在配置hdfs-site.xml的时候,如下设置(参考博客中已经这样配置了)
<property><name>dfs.client.use.datanode.hostname</name><value>true</value>
</property>
这样的话,NameNode返回给客户端的ip就不是私网ip,而是DataNode节点的主机名.此时,需要在客户端中配置C:\Windows\System32\drivers\etc\hosts中添加一行为:
DataNode公网ip地址 DataNode主机名
配置好了后,重启电脑或命令行里用
ipconfig /displaydns
ipconfig /flushdns
刷新所有dns内容.这样就可以让客户端解析出DataNode的公网ip并访问了.
d.端口没有开放.客户端访问NameNode是通过访问NameNode节点的9000端口,但是在于DataNode进行传输的时候,访问的是DataNode节点的50010端口.如果是在阿里云上,需要设置50010的白名单,否则也将无法上传/下载文件.
其他问题可以通过log或者wireshark抓包自行分析.
eclipse远程连接Hadoop遇到的一些问题相关推荐
- windows下eclipse远程连接hadoop集群开发mapreduce
转载请注明出处,谢谢 2017-10-22 17:14:09 之前都是用python开发maprduce程序的,今天试了在windows下通过eclipse java开发,在开发前先搭建开发环境.在此 ...
- eclipse远程连接Hadoop,用户认证失败
服务器上使用的用户名为root 而eclipse使用的用户名为xxxx 方法一:修改windows用户名 方法二:修改hadoop中的hdfs-site.xml 添加如下代码: <propert ...
- eclipse手动pom本地包_环境篇--Eclipse如何远程连接Hadoop集群调试
关注 DLab数据实验室 公众号 带你一起学习大数据- 写在前面:最近终于闲下来了,打算把之前了解到的内容整理一下,先从搭建环境开始吧- 现在接触大数据开发的朋友可能直接使用Spark或者其他的查询引 ...
- Centos7(linux)下hbase的伪分布式搭建以及eclipse远程连接
本博客是在VMware15.5pro.hadoop-2.7.5.jdk1.8.0.hbase-1.2.10,下进行的 hbase-1.2.10-bin.tar.gz下载地址:Index of /dis ...
- eclipse远程连接hadoop_1个文件,3个类,mapreduce就是这么简单,动手搭建Hadoop(8)...
01 ssh免密安装 02 jdk安装 03 hadoop伪分布式安装 04 hadoop全分布式 05 hadoop高可用 06 用hadoop的sdk进行开发 07 搭建yarn 上次在hdfs上 ...
- hadoop的idea连接配置_idea远程连接hadoop(macOS)
因为mac系统的idea中图标位置不太一样, hadoop安装位置也不一样, 所以这里补充我在mac上的配置方式. 前提是电脑中已经安装有hadoop 首先下载安装jdk8官网下载JDK8 我的电脑上 ...
- eclipse远程连接hadoop_hadoop集群搭建详细方法
第一步:搭建配置新的虚拟机 格式化之前先把tmp目录下所有与Hadoop有关的信息全部删除 rm -rf /tmp/hadoop-centos* 开启之后jps只有Java的进程:sudo vi /e ...
- eclipse远程连接hadoop_hadoop上搭建hive
环境 hadoop2.7.1+ubuntu 14.04 hive 2.0.1 集群环境 namenode节点:master (hive服务端) datanode 节点:slave1,slave2(hi ...
- eclipse远程连接hadoop_Hadoop群启集群
SSH无密登录配置 SSH是一种网络协议,以非对称加密实现身份验证,专为远程登录会话和其他网络服务提供安全性的协议.利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题. 使用ssh连接另一台电 ...
最新文章
- openfire安装配置完全教程
- luogu P1393 P3157 动态逆序对
- Lintcode 569解题思路及c++代码
- 3.2 为超参数选择合适的范围-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授
- jquery较验组织机构编码
- 关闭dhcp服务器无线用不了怎么办,路由器关闭dhcp之后无法上网怎么办?
- linux buffer cache 过高_怎么理解内存中的Buffer和Cache?
- WEB架构师成长之路-摘录
- 瑞利衰落(Rayleigh Fading)
- [转贴]在C#中应用哈希表(Hashtable)
- 用二次探测法建立hash表
- windows10/win10开机自启动wifi热点
- 【游戏开发进阶】教你使用IL2CppDumper从Unity il2cpp的二进制文件中获取类型、方法、字段等(反编译)
- C 语言do with,Nonverbal (非语言的) communication has to do with gestures, movements andcloseness of two...
- 几种常见的注册中心以及区别
- 你真的理解了const和volatile关键字么?(我看不一定)
- nested exception is io.lettuce.core.RedisCommandExecutionException: MOVED 7514 100.71.1.91:6380
- 抖音运营:抖音直播运营入门
- Mac联网恢复系统重新安装Lion
- 液晶面板里面有些什么配件_液晶模组LCM和液晶面板有什么区别
热门文章
- 九宫格按键输入c++
- [SAP-MDM]MDM的基本概念--主数据管理详解
- OpenSSL国密爆出8.1分高危漏洞CVE-2021-3711
- 中兴回应被列入被执行人名单;摩拜否认裁员 30%;LG 支持韩国对高通罚款 9 亿美元 | 雷锋早报...
- 2022-2028全球与中国大豆磷脂复合物市场现状及未来发展趋势
- python code mudule,pipe,stdin,stdou,IMPORTANT
- tvs管参数数解读_浅析TVS管的特性及参数
- 知识图谱--知识抽取--使用D2R将关系型数据库mysql中的数据转换为RDF形式,并使用protege查看
- L016-老男孩Linux高端运维课程-linux系统文件权限体系实战深入讲解
- 笔记:3.5 《数据库系统概论》之基本表更新(INSERT、UPDATE、ALTER、DELETE)与视图VIEW(定义、查询、更新)