Hadoop 故障整理

1、关于DataNode 错误信息解析

　　错误内容

java.io.IOException: Incompatible clusterIDs in /opt/hadoop/dfs/data: namenode clusterID = CID-40d92cfa-751c-4589-b89c-43f90751214b; datanode clusterID = CID-fe4d7495-2157-4bc2-9f03-5bdade0be587

　　原因及处理方法

原因：   由于多次 format 导致， NameNode 节点 clusterID值与DataNode 节点clusterID 值不相等。处理方法：1、 修改 DataNode  节点的 clusterID 与 NameNode  clusterID  值相等。2、修改文件位置：例：/opt/hadoop/dfs/data/current/VERSION3、VERSION  文件内容如下:storageID=DS-3fab65fb-ec2b-495c-831d-bb59151f7788clusterID=CID-40d92cfa-751c-4589-b89c-43f90751214bcTime=0datanodeUuid=211d8c5d-edd9-4bc7-90e6-5ac17c129debstorageType=DATA_NODElayoutVersion=-56

转载于:https://www.cnblogs.com/jiejunwang/p/10521144.html

Hadoop 故障整理相关推荐

linux 安装git失败,Linux运维知识之linux下安装git常见故障整理
本文主要向大家介绍了Linux运维知识之linux下安装git常见故障整理,通过具体的内容向大家展现,希望对大家学习Linux运维知识有所帮助. FAQ1: Permission denied (pu ...
mysql主从同步故障整理
快速简单的解决办法:根据错误日志情况,简单快速确认故障点,然后确认是否可以跳过这个错误,跳过错误的方法是:set global sql_slave_skip_counter=1;跳过并忽略错误. 故障 ...
hadoop知识整理（2）之MapReduce
之前写的关于MR的文章的前半部分已丢. 所以下面重点从3个部分来谈MR: 1)Job任务执行过程,以及主要进程-ResourceManager和NodeManager作用: 2)shuffle过程: ...
Hadoop配置项整理(hdfs-site.xml)
续上篇整理一下hdfs相关的配置项 name value Description dfs.default.chunk.view.size 32768 namenode的http访问页面中针对每个 ...
Hadoop笔记整理（三）：Zookeeper
[TOC] 为了方便知识的管理,把zk归到hadoop知识中来进行整理. zookeeper基础知识 zookeeper概述 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Go ...
hadoop知识整理（4）之zookeeper
一.介绍一个分布式协调服务框架: 一个精简的文件系统,每个节点大小最好不大于1MB: 众多hadoop组件依赖于此,比如hdfs,kafka,hbase,storm等: 旨在,分布式应用中,提供一个 ...
Hadoop笔记整理（二）：HDFS
[TOC] HDFS(Hadoop Distributed File System):分布式存储 NameNode 是整个文件系统的管理节点.它维护着整个文件系统的文件目录树,文件/目录的元信息和每个 ...
关于初始化数据库时报错及解决办法（常见故障整理）
在初始化数据库时使用如下命令: [root@localhost mysql]# bin/mysqld \ --initialize-insecure \ --user=mysql \ --basedi ...
Simotion之应用故障整理
整流模块p3410 选0不优化,可以避免使能不能启动. vector变频驱动p112 不用使用专家模式选择standard模式. PNP couper 使用时注意 simotion端通过192.168 ...

Hadoop 故障整理

Hadoop 故障整理相关推荐

最新文章

热门文章