Spark读取HDFS文件报错：java.net.ConnectException: Call From to localhost:9000 failed on connection

在Ubuntu启动了spark后进入scala，从HDFS读取已经放入的README.md文件，输入

val textFile = sc.textFile("hdfs://localhost:9000/user/hadoop/README.md")

读取首行时出现报错：

textFile.first()
java.net.ConnectException: Call From xxx to localhost:9000 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

在Ubuntu新终端输入：

telnet localhost 9000

说明9000端口拒绝访问

stop-all.sh

停止Hadoop后修改hadoop的core-site.xml

将配置文件core-site.xml中的fs.defaultFS参数改成
全网访问，改成hdfs://0.0.0.0:9000

后重启hdfs即可

start-all.sh

再次查看端口

telnet localhost 9000

Telnet成功：

重启scala，再次查看文件，发现成功输出

textFile.first()

问题解决。

Spark读取HDFS文件报错：java.net.ConnectException: Call From to localhost:9000 failed on connection相关推荐

已解决Python pandas.read_excel读取Excel文件报错
已解决(Python pandas.read_excel读取Excel文件报错)io = ExcelFile(io,storage_options=storage.options, engine=en ...
已解决（Python读取xml文件报错）xmL.etree.ELementTree.ParseError:not well-formed (invalid token): Line
已解决(Python读取xml文件报错)xmL.etree.ELementTree.ParseError:not well-formed (invalid token): Line 文章目录报错信息 ...
Python读取xls文件报错：raise XLRDError(FILE_FORMAT_DESCRIPTIONS[file_format]+‘； not supported‘)
Python读取xls文件报错:raise XLRDError(FILE_FORMAT_DESCRIPTIONS[file_format]+': not supported') 只需要下载pyexce ...
Python——CSV读取大文件报错_csv.Error: field larger than field limit
Python--CSV读取大文件报错_csv.Error: field larger than field limit 使用Python读取较大的csv文件时,可能出现大字段,导致超过字段默认限制,从 ...
python 读取xlsx文件报错，解决方法 ( xlrd 2.0.1 仅支持 .xls 文件)
一.问题: python读取xlsx文件报错,报错信息如下: 为什么会报错?那是因为xlrd 2.0.1 仅支持 .xls 文件. 二.解决方法: 1.确认自己安装的xlrd版本: 可以先用以下命令看 ...
启动报错java.net.ConnectException: [NACOS HTTP-POST] The maximum number of tolerable
启动报错java.net.ConnectException: [NACOS HTTP-POST] The maximum number of tolerab 原因项目的配置文件有applicatio ...
java 报错定位,问题定位分享（2）spark任务一定几率报错java.lang.NoSuchFieldError: HIVE_MOVE_FILES_THREAD_COUNT...
用yarn cluster方式提交spark任务时,有时会报错,报错几率是40%,报错如下: 18/03/15 21:50:36 116 ERROR ApplicationMaster91: User ...
Hdfs连接报错java.net.ConnectException: Connection timed out: no further information
目录 1 连接超时 2 排查具体问题 2.1.检查网络能不能ping通,防火墙问题 2.2 检查zookeeper有没有开启 2.3 最后检查Hue中Hdfs节点挂掉 3 解决方法 1 连接超时 2 ...
HDFS上传文件报错java.lang.InterruptedException
使用hdfs上传文件时报错, java.lang.InterruptedExceptionat java.lang.Object.wait(Native Method)at java.lang.Thr ...

Spark读取HDFS文件报错：java.net.ConnectException: Call From to localhost:9000 failed on connection

Spark读取HDFS文件报错：java.net.ConnectException: Call From to localhost:9000 failed on connection相关推荐

最新文章

热门文章