HDFS/zookeeper/hbase初始化

①關閉hadoop集羣
②hdfs namenode -format
③啓動hadoop集羣

那如果我只是删除了name文件夹然后进行上述的初始化了，那么datanode就会起不来，会碰到下面这样的报错:

$HADOOP_HOME/logs

hadoop-appleyuchi-datanode-Desktop.log:2020-05-22 09:59:15,641 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid e19cb4f5-b2d1-4b1e-89f5-1c83393cc371) service to Desktop/192.168.0.103:9000. Exiting.

如果集群节点数量太多的话，注意不要使用scp文件到各个节点替换的方式，因为会覆盖其他参数。

解决方案是:

集群中的每个节点的data node文件夹中的VERSION文件中的clusterID都要修改成和下面的

/home/appleyuchi/dfs/name/current/VERSION的clusterID一致。

不要去删除datanode然后初始化，因为那样的话，数据就都没了。

＃－－－－－－－－－－－－－－zookeeper和hbase初始化－－－－－－－－－－－－－－－－－－－－－－－－－－－

①启动zookeeper时会发现log中有报错:

java.io.IOException: ZooKeeperServer not running

删除集群中每个节点/home/appleyuchi/dfs/zookeeper(每个节点这里的名字都不同)/data/version-2下面的所有文件

②再次启动报错:

java.io.IOException: No snapshot found, but there are log entries. Something is broken!

删除集群中每个节点/home/appleyuchi/dfs/zookeeper(每个节点这里的名字都不同)/log/version-2下面的所有文件

③再次启动后输入hbase hbck报错：

KeeperErrorCode = NoNode for /hbase/hbaseid

$ZOOKEEPER/bin/zkCli.sh
deleteall /hbase

确保集群中每个zookeeper的启动节点正常，然后再启动hbase（切记！）

HDFS/zookeeper/hbase初始化相关推荐

hdfs+zookeeper+hbase分布式在k8s中部署（本文已过期）
全栈工程师开发手册 (作者:栾鹏) 架构系列文章本文内容已经过期, 有时间再更新新的,不要订阅这篇文章版本信息:java1.8+hadoop-2.7.7+zookeeper-3.4.9+hbase ...
大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建图文详解
引言在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单 ...
HDFS——HDFS+Zookeeper搭建高可用HDFS
2019独角兽企业重金招聘Python工程师标准>>> 问题说明 NameNode是HDFS集群的单点故障点,每一个集群只有一个NameNode,如果这个机器或进程不可用,整个集群就 ...
Hadoop学习---Zookeeper+Hbase配置学习
软件版本号: JDK:jdk-8u45-linux-i586.tar.gz Zookeeper:zookeeper-3.4.6 Hbase:hbase-1.0.0-bin 一.JDK版本更换由于之前 ...
hadoop+zookeeper+Hbase+spark安装部署总结
hadoop+zookeeper+Hbase+spark安装部署总结主要参考:https://blog.csdn.net/sunxiaoju/article/details/85918135 计算机 ...
【笔记】Hadoop + zookeeper + hbase 集群搭建简洁版
版本: JAVA8 hadoop-3.1.1 hbase-2.0.2 zookeeper-3.4.10 集群配置:hadoop master 主备切换 hbase master 主备切换 zookee ...
大数据分析常用组件、框架、架构介绍（Hadoop、Spark、Storm、Flume、Kafka、Logstash、HDFS、HBase）
在正式开始介绍大数据知识之前我们先来了解一下一些大数据常用名词,如果您是"过来人"的话,可以直(jia)接(shen)跳(yin)过(xiang):如果您是新手的话,可以带着对新鲜 ...
数据在HDFS和HBASE之间互相传递的过程
对于简单的结构化数据,我们在HDFS和HBASE上的传递可能只需要用框架即可完成,但是对于复杂的数据传输,特别是实际工作中,数据的收集整理并非简单的结构,因此,我们需要对数据重新整理,并进行发送.这个 ...
Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解
编者按:HDFS和MapReduce是Hadoop的两大核心,除此之外Hbase.Hive这两个核心工具也随着Hadoop发展变得越来越重要.本文作者张震的博文<Thinking in BigD ...

HDFS/zookeeper/hbase初始化

HDFS/zookeeper/hbase初始化相关推荐

最新文章

热门文章