Hadoop问题:启动hadoop 2.6遇到的datanode启动不了
问题描述:第一次启动输入jps都有,第二次没有datanode
日志如下:
查看日志如下:2014-12-22 12:08:27,264 INFO org.mortbay.log: Started HttpServer2$SelectChannelConnectorWithSafeStartup@0.0.0.0:50075 2014-12-22 12:08:27,692 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: dnUserName = root 2014-12-22 12:08:27,692 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: supergroup = supergroup 2014-12-22 12:08:32,865 INFO org.apache.hadoop.ipc.CallQueueManager: Using callQueue class java.util.concurrent.LinkedBlockingQueue 2014-12-22 12:08:32,889 INFO org.apache.hadoop.ipc.Server: Starting Socket Reader #1 for port 50020 2014-12-22 12:08:32,931 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Opened IPC server at /0.0.0.0:50020 2014-12-22 12:08:32,945 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Refresh request received for nameservices: null 2014-12-22 12:08:32,968 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Starting BPOfferServices for nameservices: <default> 2014-12-22 12:08:32,992 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool <registering> (Datanode Uuid unassigned) service to localhost/127.0.0.1:8020 starting to offer service 2014-12-22 12:08:33,001 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting 2014-12-22 12:08:33,003 INFO org.apache.hadoop.ipc.Server: IPC Server listener on 50020: starting 2014-12-22 12:08:33,536 INFO org.apache.hadoop.hdfs.server.common.Storage: DataNode version: -56 and NameNode layout version: -602014-12-22 12:08:33,699 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /home/hadoop/tmp/dfs/data/in_use.lock acquired by nodename 17247@henry-ThinkPad-T400 2014-12-22 12:08:33,706 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to localhost/127.0.0.1:8020. Exiting. java.io.IOException: Incompatible clusterIDs in /home/hadoop/tmp/dfs/data: namenode clusterID = CID-19f887ba-2e8d-4c7e-ae01-e38a30581693; datanode clusterID = CID-14aac0b3-3c32-45db-adb8-b5fc494eaa3dat org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:646)at org.apache.hadoop.hdfs.server.datanode.DataStorage.addStorageLocations(DataStorage.java:320)at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:403)at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:422)at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:1311)at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:1276)at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:314)at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:220)at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:828)at java.lang.Thread.run(Thread.java:662) 2014-12-22 12:08:33,716 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Ending block pool service for: Block pool <registering> (Datanode Uuid unassigned) service to localhost/127.0.0.1:8020 2014-12-22 12:08:33,718 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Removed Block pool <registering> (Datanode Uuid unassigned) 2014-12-22 12:08:35,718 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Exiting Datanode 2014-12-22 12:08:35,720 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 0 2014-12-22 12:08:35,722 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down DataNode at henry-ThinkPad-T400/127.0.0.1 ************************************************************/
问题分析:在第一次格式化dfs后,启动并使用了hadoop,后来又重新执行了格式化命令(hdfs namenode -format),
这时namenode的clusterID会重新生成,而datanode的clusterID 保持不变。
问题总结:datanode的clusterID 和 namenode的clusterID 不匹配。
解决办法:根据日志中的路径,cd /home/hadoop/tmp/dfs 能看到 data和name两个文件夹,
将name/current下的VERSION中的clusterID复制到data/current下的VERSION中,覆盖掉原来的clusterID,让两个保持一致
然后重启,启动后执行jps,查看进程
Hadoop问题:启动hadoop 2.6遇到的datanode启动不了相关推荐
- Apache Hadoop 答疑:解决 Apache Hadoop 启动时 DataNode 启动异常的问题
文章目录 前言 一.启动 HDFS 并显示当前所有 Java 进程 二.DataNode 启动异常场景描述 三.DataNode 启动异常解决方式 四.Web 界面检查 Hadoop 信息 总结 前言 ...
- 启动hadoop的节点
1.启动hadoop的节点 start-dfs.sh 本文转自 素颜猪 51CTO博客,原文链接:http://blog.51cto.com/suyanzhu/1959242
- 启动hadoop没有resourcemanager_5.hadoop-MR YARN架构理论与集群搭建
MR原语 输入(格式化k,v)数据集map映射成一个中间数据集(k,v)reduce 相同"的key为一组,调用一次reduce方法,方法内迭代这一组数据进行计算 计算框架 Partit ...
- 正确地启动hadoop
-----------------------环境----------------------- ubuntu16.04系统 64位 apache-hive-3.0.0-bin s ...
- cdh搭建hadoop集群_Hadoop宿醉:使用Apache Whirr启动hadoop集群CDH4
cdh搭建hadoop集群 这篇文章是关于如何在EC2实例上启动CDH4 MRv1或CDH4 Yarn集群的. 据说您可以在Whirr的帮助下在5分钟内启动一个集群! 当且仅当一切工作正常时,这才是正 ...
- Hadoop宿醉:使用Apache Whirr启动hadoop集群CDH4
这篇文章是关于如何在EC2实例上启动CDH4 MRv1或CDH4 Yarn集群的. 据说您可以在Whirr的帮助下在5分钟内启动一个集群! 当且仅当一切正常时,这才是正确的! 希望本文在这方面对您有所 ...
- shell 进入hadoop_shell启动hadoop集群
原创,转载请注明.谢谢 shell启动hadoop集群 1:明确启动顺序 1)启动zookeeper集群(分别在centos 4-02,centos6-02,centos7-02) app/zooke ...
- 启动Hadoop时候datanode没有启动的原因及解决方案
启动Hadoop时候datanode没有启动的原因及解决方案 参考文章: (1)启动Hadoop时候datanode没有启动的原因及解决方案 (2)https://www.cnblogs.com/ya ...
- 启动Hadoop时遇到Name or service not knownstname 错误
2019独角兽企业重金招聘Python工程师标准>>> 今天在启动Hadoop时遇到Name or service not knownstname这样的错误 1 : Name or ...
- 启动hadoop输入jps显示:程序 ‘jps‘ 已包含在下列软件包中: * openjdk-7-jdk * openjdk-6-jdk 请尝试:sudo apt-get install ~
按理说:启动hadoop成功后,输入jps,应该可以看到NameNode,DataNode和SecondaryNameNode. 但是我启动hadoop,输入jps后,终端显示: 程序 'jps' 已 ...
最新文章
- 【Go】Go基础(二):学习网址汇总
- JS_高程6.面向对象的程序设计(2)创建对象_1
- java akiba,java使用jeids实现redis2.6的脚本执行
- Dubbo负载均衡机制
- 设置linux拨号服务端,CentOS Linux上搭建PPPoE服务器及拨号设置
- c 语言中随机数填充数组,c – 生成唯一随机数的数组
- Java 面试之技术框架
- Snabbdom(虚拟dom-6-createElm函数)
- VMware 安装 CentOS 7
- storm1.x支持主节点nimbus高可用 多master集群部署
- android fastboot模式下载以及出现的问题
- 计算机网络常用操作系统,计算机目前常用的操作系统有哪些?
- MFC:Ribbon界面设计
- 《教我兄弟学Android逆向12 编写xpose模块》
- C++向量夹角公式(带正负)
- Codeforces 235C Cyclical Quest
- INNODB记录格式
- UI设计VIP课程开放20个试听名额啦(先到先得)
- 上帝之眼——GIS技术的决定性作用
- unable to resolve superclass of 解决方法