KUDU Master迁移

一、背景

kudu集群为kudu 1.9.0-cdh6.2.1

3个master高可用集群，其中一个master节点需要下线维护，故迁移该节点的master角色至其他节点。

二、Kudu Master迁移

1、新增kudu master节点

在CM界面新增一个kudu master实例，但不启动

2、记录kudu master uuid

查看所有master uuid

sudo -u kudu kudu local_replica cmeta print_replica_uuids -fs_wal_dir=/data/sdv1/kudu_master/wal -fs_data_dirs=/data/sdv2/kudu_master,/data/sdv3/kudu_master 00000000000000000000000000000000

查看每个master节点master uuid

 sudo -u kudu kudu fs dump uuid -fs_wal_dir=/data/sdv1/kudu_master/wal -fs_data_dirs=/data/sdv2/kudu_master,/data/sdv3/kudu_master

根据上述结果确定需要迁移的master uuid

3、新增kudu master 节点初始化

在新master主机上执行格式化,uuid为待下线master的uuid标识,并将目录改为kudu所有

kudu fs format -fs_wal_dir=/data/sdv1/kudu_master/wal -fs_data_dirs=/data/sdv2/kudu_master,/data/sdv3/kudu_master --uuid=246708ef96134cbbb84ce886a2a5e580chown -R kudu:kudu /data/sdv{1..3}/kudu_master

新增kudu master节点元数据复制

从其他master节点复制元数据至新master

sudo -u kudu kudu local_replica copy_from_remote -fs_wal_dir=/data/sdv1/kudu_master/wal -fs_data_dirs=/data/sdv2/kudu_master,/data/sdv3/kudu_master 00000000000000000000000000000000 unionbigdata01.localdomain:7051

5、更新kudu master list

在所有kudu master节点执行master list 更新操作

sudo -u kudu kudu local_replica cmeta rewrite_raft_config -fs_wal_dir=/data/sdv1/kudu_master/wal -fs_data_dirs=/data/sdv2/kudu_master,/data/sdv3/kudu_master 00000000000000000000000000000000 020825e1f55646928be758df617a8862:unionbigdata01.localdomain:7051 2caaa0752d2e41b4934ab3ccf0e25797:unionbigdata02.localdomain:7051 246708ef96134cbbb84ce886a2a5e580:unionbigdata03.localdomain:7051

三、Kudu Master重启

1、重启kudu master

删除停掉待替换的master，重启kudu master

2、检查master状态

sudo -u kudu kudu master list unionbigdata01.localdomain,unionbigdata02.localdomain,unionbigdata03.localdomain

3、执行健康检查

sudo -u kudu kudu cluster ksck unionbigdata01.localdomain,unionbigdata02.localdomain,unionbigdata03.localdomain

KUDU Master迁移相关推荐

saltStack运维工具的部署及master迁移实现的过程详解
服务器端:192.168.3.87 客户端:192.168.3.86.192.168.3.108 1.salt服务器端安装 192.168.3.87 rpm -Uvh http://mirrors.y ...
Kudu : kudu运行的时候-停止master RecoverableException: Failed to connect to peer master
1.美图 2.背景如果在任务运行的时候,逐渐停止所有的kudu master 会发生什么? 尝试发现直到停止到最后一个之前都是运行正常的. Caused by: org.apache.kudu.c ...
Kudu入门和API基础操作
Kudu入门和API基础操作文章目录 Kudu入门和API基础操作为什么使用Kudu作为存储介质 1. Kudu介绍 1.1 背景介绍 1.2 新的硬件设备 1.3 Kudu是什么 1.4 Kud ...
kudu简介与操作方式
kudu简介与操作方式 0.932018.06.09 16:13:35字数 750阅读 30042 1.kudu整体介绍 Kudu是cloudera开源的运行在hadoop平台上的列式存储系统,拥有H ...
hive和hbase数据迁移
数据迁移文章目录数据迁移一.数据分析 1. Hive数据分析 2. Hbase数据分析 3. Kudu数据分析二.数据迁移设 1. Hive数据迁移设计 2. Hbase数据迁移设计 3. K ...
客快物流大数据项目(四十六)：Spark操作Kudu dataFrame操作kudu
Spark操作Kudu dataFrame操作kudu 一.DataFrameApi读取kudu表中的数据虽然我们可以通过上面显示的KuduContext执行大量操作,但我们还可以直接从默认数据源本 ...
Kudu command tools
为什么80%的码农都做不了架构师?>>> 介绍 kudu集群部署完毕后,如何管理kudu集群?官方提供了kudu command tool工具来管理kudu集群,通过kudu ...
Kudu - 一个融合低延迟写入和高性能分析的存储系统
Kudu 是一个基于 Raft 的分布式存储系统,它致力于融合低延迟写入和高性能分析这两种场景,并且能很好的嵌入到 Hadoop 生态系统里面,跟其他系统譬如 Cloudera Impala,Apac ...
Spark structured 记录一次kudu扩容导致无法写入数据的问题
1.背景我们有个程序,是kafka写入到kudu,此时我们重启了一下任务,结果发现,任务运行后,就会卡主,提示是正在运行,但是实际上报错,打开日志,发现,一直报错找不到节点 can not acce ...