记录一次读取hdfs文件时出现的问题java.net.ConnectException: Connection refused

公司的hadoop集群是之前的同事搭建的，我(小白一个)在spark shell中读取hdfs上的文件时，执行以下指令

>>> word=sc.textFile("hdfs://localhost:9000/user/hadoop/test.txt")
>>> word.first()

报错：java.net.ConnectException: Call From hadoop/133.0.123.130 to localhost:9000 failed on connection exception: java.net.ConnectException: Connection refuse。看来是hdfs与本地服务器连接出了问题，我又查看了以下hdfs上的文件，发现可以正常查看，这说明本地服务器与hdfs的连接、通信是没有问题的！思来想去，我有换另外一种方式读取hdfs上的文件

>>> word=sc.textFile("/user/hadoop/test.txt")
>>> word.first()

因为spark中默认读取的就是hdfs上的文件，因此这种方式也是可以的，结果发现运行正常，这下问题就明了了，是“localhost:9000”出了问题，我查看了hadoop/etc/core-site.xml中端口设置

显示端口设置正常，那么应该是localhost对应的IP地址不对了！接着查看hosts文件，发现

发现localhost对应的IP地址与本地服务器IP地址不一致，终于找到原因了，我将读取hdfs文件的指令更改为：

>>> word=sc.textFile("hdfs://hadoop:9000/user/hadoop/test.txt")
>>> word.first()

结果正常了。

转载于:https://www.cnblogs.com/hgz-dm/p/11356357.html

记录一次读取hdfs文件时出现的问题java.net.ConnectException: Connection refused相关推荐

Hdfs连接报错java.net.ConnectException: Connection timed out: no further information
目录 1 连接超时 2 排查具体问题 2.1.检查网络能不能ping通,防火墙问题 2.2 检查zookeeper有没有开启 2.3 最后检查Hue中Hdfs节点挂掉 3 解决方法 1 连接超时 2 ...
python读取HDFS文件
2019独角兽企业重金招聘Python工程师标准>>> ###方法一:使用hdfs库读取HDFS文件 ###在读取数据时,要加上 encoding='utf-8',否则字符串前面会有 ...
C#读取excel文件时，报“外部表不是预期的格式”
记录读取Excel文件时报错比较全面的问题汇总:转自https://blog.csdn.net/question00/article/details/51445663 最后发现我的excel文件的 ...
python读取csv文件并修改指定内容-pandas读取CSV文件时查看修改各列的数据类型格式...
下面给大家介绍下pandas读取CSV文件时查看修改各列的数据类型格式,具体内容如下所述: 我们在调bug的时候会经常查看.修改pandas列数据的数据类型,今天就总结一下: 1.查看: Numpy和 ...
Qt读取TXT文件时，GBK与UTF-8编码判断
读取txt文件时,很多时候无法获取文件的编码格式.如果直接进行使用,则有可能出现乱码.需要在使用前将其转为Unicode(Qt的默认编码格式). 虽然实际的编码格式种类非常多,但平常主要使用的有GBK ...
Spark没有读取HDFS文件的方法？那textFile是怎么读的？
直入正题吧,ctrl+鼠标点进textFile方法. package org.apache.spark ......... /*** Read a text file from HDFS, a loc ...
python csv文件复制时的编码问题_使用python读取CSV文件时的编码问题
尝试使用python读取CSV文件时遇到障碍. 更新:如果只想跳过字符或错误,可以打开文件,如下所示: with open(os.path.join(directory, file), 'r', en ...
pythoncsv数据类型_pandas读取CSV文件时查看修改各列的数据类型格式
下面给大家介绍下pandas读取CSV文件时查看修改各列的数据类型格式,具体内容如下所述: 我们在调bug的时候会经常查看.修改pandas列数据的数据类型,今天就总结一下: 1.查看: Numpy和 ...
spring使用@Value注解读取.properties文件时出现中文乱码问题的解决
spring使用@Value注解读取.properties文件时出现中文乱码问题的解决参考文章: (1)spring使用@Value注解读取.properties文件时出现中文乱码问题的解决 (2) ...

记录一次读取hdfs文件时出现的问题java.net.ConnectException: Connection refused

记录一次读取hdfs文件时出现的问题java.net.ConnectException: Connection refused相关推荐

最新文章

热门文章