Hadoop格式化后出现异常

我在正常安装Hadoop 格式化后正常启动，在安装成功后再次格式化就出现了异常，对文件进行上传和删除时都出现了同样的异常说是DataNode没有启动，我使用jps查看一下别的都启动了只有DataNode没有启动，解决方案从如下论坛中

http://forum.hadoop.tw/viewtopic.php?f=4&t=43找到启发，但是可能是版本不一致，并不像论坛中所说的DataNode和NameNode都有namespaceID

只好从DataNode的Log日志中查询：

找到了如下一段错误信息：

2017-08-16 15:04:46,518 INFO org.apache.hadoop.hdfs.server.common.Storage: Using 1 threads to upgrade data directories (dfs.datanode.parallel.volumes.load.threads.num=1, dataDirs=1)
2017-08-16 15:04:46,525 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /cloud/hadoop-2.7.4/temp/dfs/data/in_use.lock acquired by nodename 29522@hadoop1
2017-08-16 15:04:46,526 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/cloud/hadoop-2.7.4/temp/dfs/data/
java.io.IOException: Incompatible clusterIDs in /cloud/hadoop-2.7.4/temp/dfs/data: namenode clusterID = CID-1faf1f78-2d7a-4a70-8d62-83aa4dfd13c7; datanode clusterID = CID-d520d56a-ca5f-4e18-9cd0-443925773abaat org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:777)at org.apache.hadoop.hdfs.server.datanode.DataStorage.loadStorageDirectory(DataStorage.java:300)at org.apache.hadoop.hdfs.server.datanode.DataStorage.loadDataStorage(DataStorage.java:416)at org.apache.hadoop.hdfs.server.datanode.DataStorage.addStorageLocations(DataStorage.java:395)at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:573)at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:1386)at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:1351)at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:313)at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:216)at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:637)at java.lang.Thread.run(Thread.java:748)

Incompatible clusterIDs in /cloud/hadoop-2.7.4/temp/dfs/data: namenode clusterID = CID-1faf1f78-2d7a-4a70-8d62-83aa4dfd13c7; datanode clusterID = CID-d520d56a-ca5f-4e18-9cd0-443925773aba

说是NameNode的clusterId 和DataNode的 clusterId不一致：

查看一下果然不一致：

[root@hadoop1 current]# cat VERSION
#Wed Aug 16 14:25:21 EDT 2017
namespaceID=1793769073
clusterID=CID-1faf1f78-2d7a-4a70-8d62-83aa4dfd13c7 #NameNode上的clusterID
cTime=0
storageType=NAME_NODE
blockpoolID=BP-1093563334-192.168.0.10-1502907921813
layoutVersion=-63
[root@hadoop1 current]# pwd
/cloud/hadoop-2.7.4/temp/dfs/name/current
[root@hadoop1 current]# cat /cloud/hadoop-2.7.4/temp/dfs/data/current/VERSION
#Wed Aug 16 14:18:20 EDT 2017
storageID=DS-713444f8-0e13-4a63-8ac5-21eb435438cd
clusterID=CID-d520d56a-ca5f-4e18-9cd0-443925773aba #DataNode上的clusterID
cTime=0
datanodeUuid=d6813d12-3427-4577-a40b-d504ba5089bf
storageType=DATA_NODE
layoutVersion=-56

我将DataNode的clusterID修改成了NameNode版本号中的clusterID

(按照正常逻辑修改任意一方的ClusterID和另一方保持一致即可)

然后重新启动Hadoop

发现启动了DataNode，然后测试上传发现问题竟然解决了

总结：发现以前遇到错误总是什么都不想先将错误信息去网上查询解决方案并不一定奏效，才发现日志是一个好东西，遇到错误说不定在对应的日志中就能找到解决方案。

Hadoop格式化后出现异常相关推荐

日常问题——hadoop启动后发现namenode没有启动，但是排除了格式化过度的问题
hadoop启动后发现namenode没有启动,网上说的格式化过度的问题我是没有的,因为我只格式化过一次.之后查看日志 vim /opt/hadoop/logs/namenode对应的log文件发现 ...
android读取U引导扇区,回收站清空了怎么恢复,删除的文件如何恢复,u盘格式化后数据恢复 - 久久量产网...
我们的手机里的内存一般都是EMMC的,而如果手机坏了,想要恢复手机内存里的数据就需要这里的方法,核心就是把emmc用风枪吹下来,然后用飞线的方式连接sd卡套,这样就能被电脑识别为内存卡从而恢复数据,但 ...
涉密计算机格式化维修,涉密计算机中的涉密信息被删除或格式化后，不可复原，可以连接互联网 - 作业在线问答...
相关题目与解析涉密计算机中的涉密信息被删除和格式化后可连接互联网使用.() 涉密计算机的涉密信息被删除或格式化后,通过一定的技术手段仍可以复原,连接互联网易造成泄密.() 涉密计算机删除涉密信息后可 ...
MYSQL连接一段时间不操作后出现异常的解决方案
MYSQL连接一段时间不操作后出现异常的解决方案参考文章: (1)MYSQL连接一段时间不操作后出现异常的解决方案 (2)https://www.cnblogs.com/bokejiayuan/p/ ...
计算机格式化后数据恢复的基础,用DiskGenius恢复误删除或误格式化后的文件
当计算机内的文件被有意无意的删除.或遭到病毒破坏.分区被格式化后,若想恢复这些已丢失的文件,均可使用本功能.实际上,操作系统在删除文件时,只是将被删除文件打上了"删除标记",并将文 ...
涉密计算机格式化维修,涉密计算机的涉密信息被删除或格式化后,通过一定的技术手段仍可以复原,连接互联网易造成泄密。()...
相关题目与解析涉密计算机中的涉密信息被删除或格式化后,不可复原,可以连接互联网.() 涉密计算机中的涉密信息被删除和格式化后可连接互联网使用.() 涉密计算机中的涉密信息被删除或格式化后,通过一定的 ...
statusbar 尺寸显示图标_StatusBar 图标展示流程 - 状态栏(StatusBar)镜头布局分析...- git完代码后的异常_169IT.COM...
本页文章导读: ▪StatusBar 图标展示流程 StatusBar 图标显示流程 StatusBar 图标显示流程 (2010-11-05 15:23:29)转载分类: Androi ...
linux 恢复boot分区,Linux boot分区格式化后恢复示例
在之前的博客我们看了boot分区删除文件后的修复方法,如下: Linux boot 分区损坏重建示例 https://www.cndba.cn/dave/article/3534 https://w ...
计算机格式化后数据恢复的基础,电脑硬盘格式化后还能恢复吗
电脑硬盘是电脑运行的基础固件,我们使用电脑需要依赖它储存文件.运行软件等.那么在使用电脑的过程中你有没有遇到这样的问题:当打开一个电脑磁盘分区时,该分区无法使用并提示格式化,这时候一般的小伙伴是不是都 ...

Hadoop格式化后出现异常

Hadoop格式化后出现异常相关推荐

最新文章

热门文章