hadoop3.2.2--记录java.io.IOException: All specified directories have failed to load.问题

问题： 在初始化NameNode时，hadoop102 没有启动DataNode，但是log里又有DataNode，查看log提示：java.io.IOException: All specified directories have failed to load.

原因： 一开始初始化NameNode之后发现有问题，开始排查配置文件，修改完配置后，没有删除NameNode及DataNode相关数据，直接初始化NameNode导致clusterID不匹配；

解决方案一：

1.在以下路径找到NameNode的VERSION文件：

[xiaobai@hadoop102 current]$ pwd
/opt/module/hadoop-3.2.2/data/dfs/name/current
[xiaobai@hadoop102 current]$ vim VERSION

NameNode的VERSION文件长这个样子：

#Fri Jun 11 23:59:05 CST 2021
namespaceID=643636441
clusterID=CID-b15b1f6e-7e10-46e4-b39f-be02812c6765
cTime=1623427145615
storageType=NAME_NODE
blockpoolID=BP-1094756810-192.168.10.102-1623427145615
layoutVersion=-65

2.在以下路径找到DataNode的VERSION文件：

[xiaobai@hadoop102 current]$ pwd
/opt/module/hadoop-3.2.2/data/dfs/data/current
[xiaobai@hadoop102 current]$ vim VERSION

DataNode的VERSION文件长这个样子：

#Fri Jun 11 23:44:16 CST 2021
storageID=DS-76a2b31c-db46-4364-8acc-ea16f2bae593
clusterID=CID-062f154c-b852-49ff-9558-e8d0f9ac95b3
cTime=0
datanodeUuid=aaa74fa5-917f-49e7-9303-7bb1eef5ce55
storageType=DATA_NODE
layoutVersion=-57

3.用NameNode/VERSION中的clusterID替换DataNode/VERSION中的clusterID：

#Fri Jun 11 23:44:16 CST 2021
storageID=DS-76a2b31c-db46-4364-8acc-ea16f2bae593
clusterID=CID-b15b1f6e-7e10-46e4-b39f-be02812c6765
cTime=0
datanodeUuid=aaa74fa5-917f-49e7-9303-7bb1eef5ce55
storageType=DATA_NODE
layoutVersion=-57

4.重新启动NameNode：

[xiaobai@hadoop102 hadoop-3.2.2]$ sbin/start-dfs.sh

查看进程：

[xiaobai@hadoop102 hadoop-3.2.2]$ jps
23653 DataNode
23866 Jps
21805 NameNode

[xiaobai@hadoop103 hadoop-3.2.2]$ jps
13912 DataNode
14617 Jps

[xiaobai@hadoop104 opt]$ jps
13639 SecondaryNameNode
13544 DataNode
13677 Jps

解决方案二：

先删除NameNode/DataNode相关数据，再重新初始化NameNode；
重新格式化NameNode==>

hadoop3.2.2--记录java.io.IOException: All specified directories have failed to load.问题相关推荐

[Jenkins]JDK版本过高导致的java.io.IOException: Remote call on xxxx failed
------------------------------------------------------ 如需转载,请注明出处. 文章链接:https://www.cnblogs.com/dzbl ...
程序开过多线程，导致hadoop作业无法运行成功——Call to hadoop1:9000 failed on lo cal exception: java.io.IOException: Coul
hadoop集群中某一个节点有时候起不来,查看log日志,有如下错误: 2015-03-09 10:40:30,253 ERROR org.apache.hadoop.hdfs.server.data ...
HBase中此类异常解决记录org.apache.hadoop.ipc.RemoteException(java.io.IOException):
HBase中此类异常解决记录org.apache.hadoop.ipc.RemoteException(java.io.IOException): 参考文章: (1)HBase中此类异常解决记录org ...
初试 RabbitMQ采坑记录：org.springframework.amqp.AmqpIOException: java.io.IOException
问题描述: 最近使用RabbitMQ 集成springboot maven时发现的问题.RabbitMQ 安装成功.配置application.properties文件使用RabbitMQ 发送消息 ...
【错误记录】Android 应用 POST 网络请求报错 ( java.io.IOException: Cleartext HTTP traffic to xxx not permitted )
文章目录一.报错信息二.解决方案一.报错信息报错信息如下 : 执行 post 请求信息 , 报如下错误 : W/System.err: java.io.IOException: Clearte ...
java.io.IOException: Broken pipe 线上问题记录
今天在上线前staging环境验证时遇到这样一个问题java.io.IOException: Broken pipe,操作服务刚起来之后,测试人员第一次进行更配[post]操作,结果操作失败,但是第二 ...
org.apache.catalina.connector.ClientAbortException: java.io.IOException: Broken pipe
完整错误信息: org.apache.catalina.connector.ClientAbortException: java.io.IOException: Broken pipeat org.a ...
Java打包问题之一：打包出现java.io.IOException: invalid header field
前言 java的打包工具jar有时候会出一些莫名其妙的问题,比如不合法的头部字段等等.这些问题之前也没注意,因为一直是用eclipse打包.后来在公司的时候,要求统一编写shell脚本来进行打包. 其 ...
【PostgreSQL保存】java.io.IOException: Tried to send an out-of-range integer as a 2-byte value 问题分析+解决方法
1.问题分析项目里有一个从MySQL导入PostgreSQL然后利用GIS相关插件计算空间数据的定时任务,上线某地市没有任何问题,后期上线到一个大城市,定时任务报错 java.io.IOExcept ...

hadoop3.2.2--记录java.io.IOException: All specified directories have failed to load.问题

hadoop3.2.2--记录java.io.IOException: All specified directories have failed to load.问题相关推荐

最新文章

热门文章