kafka扩容数据自动重分配脚本

本文章记录使用kafka-reassign-partitions.sh脚本来重新分配节点分区。kafka节点扩容后，已经存在的旧的topic的分区是不会伴随节点的增加而变动的，所以需要我们手动的去调整分区。下面提供了一套脚本，可以实现自动化重分区，欢迎大家斧正：

脚本目录和文件目录要注意，这是我的集群的目录，大家可以根据自己的目录进行调整

主脚本：
需要传两个参数

$1：zookeeper链接地址

$2：brokerid的列表

atuoReassign.sh：

#!/bin/bashzkServer=$1
brokerIdList=$2
if [ -z "$zkServer" ]
thenecho "zkServer can not be empty"exit 1
elseecho "zkServer:"$zkServer
fi
if [ -z "$brokerIdList" ]
thenecho "brokerIdList can not be empty"exit 2
elseecho "brokerIdList:" $brokerIdList
fi
echo "###########################start generate##############################"
sh /var/lib/kafka/autoAssign.sh $zkServer
echo "###########################end generate##############################"
echo "###########################start execute##############################"
sh /var/lib/kafka/autoRebalance.sh $zkServer $brokerIdList
echo "###########################end execute##############################"
echo "###########################delete generate json##############################"
rm -rf  /opt/kafka/bin/topicMove.json
rm -rf  /opt/kafka/bin/ressgintopic.json
echo "###########################end ressgin##############################"

autoAssign.sh：

#!/bin/bashzkServer=$1
topicArr=`sh /opt/kafka/bin/kafka-topics.sh  --zookeeper $zkServer --list`
topictext=''
symbol='"'
for topic in ${topicArr[@]}
dotopictext=$topictext','{$symbol'topic'$symbol:$symbol$topic$symbol}
done
assigntext='{"topics":['${topictext:1}'],"version":1}'
echo $assigntext >/opt/kafka/bin/topicMove.json

autoRebalance.sh：

#!/bin/bashsource /etc/profilezkServer=$1
brokerIdList=$2
content=`sh /opt/kafka/bin/kafka-reassign-partitions.sh --zookeeper $zkServer --topics-to-move-json-file /opt/kafka/bin/topicMove.json --broker-list $brokerIdList --generate`
content=`echo $content | awk -F 'Proposed partition reassignment configuration' '{print $2}'`
echo $content
echo $content > /opt/kafka/bin/ressgintopic.json
sh /opt/kafka/bin/kafka-reassign-partitions.sh --zookeeper $zkServer$clusterName --reassignment-json-file /opt/kafka/bin/ressgintopic.json --execute

kafka扩容数据自动重分配脚本相关推荐

GNSS数据自动下载脚本（使用CDDIS账号）
GNSS数据自动下载脚本(使用CDDIS账号) 文章目录 GNSS数据自动下载脚本(使用CDDIS账号) 前言 1.注册EARTHDATA账号 2.使用前的准备工作 3.脚本的使用总结 Q& ...
魔兽mangos用户数据自动备份脚本
魔兽mangos用户数据自动备份脚本 #!/bin/bash USER=<USERNAME> PASS=<PASSWORD> DBNAME=mangos RNAME=realm ...
linux中自动挂载脚本,LIUNX一键自动挂载脚本，宝塔磁盘LIUNX一键分区磁盘 | 帮助信息-动天数据...
LIUNX一键自动挂载脚本,宝塔磁盘LIUNX一键分区磁盘作者:dthost | 时间:2019-01-25 | 9,225 次阅读用惯WIN系统的朋友们,估计上手LIUNX服务器,第一件事很多人 ...
python脚本实现GNSS数据自动下载
python脚本实现GNSS数据自动下载本文代码思路参考了博文[https://blog.csdn.net/weixin_39672353/article/details/1098525] 在此基础 ...
易语言游戏基址内存数据CEAA自动汇编脚本注入及CALL的调用
对于汇编基础稍弱的同学来说,CEEAA自动汇编是一个部错的选择,以CE为工具,以脚本注入为主,采用CEAA自动汇编,利于易语言调用自动汇编脚本注入游戏,实战了各种汇编技巧,易语言注入调用汇编的各种方 ...
解决白盒、mock、性能、自动化测试脚本中的数据自动生成问题——Spock-Genesis
文章目录前言一.Spock-Genesis是什么? 二.使用步骤 1.添加Spock-Genesis依赖 2.示例总结前言程序的基本功能就是通过输入一组数据,得出我们期望的输出.我们测试的目 ...
oracle备份数据脚本,oracle数据库自动备份脚本
::通过exp命令导出远程机器(192.168.2.1)上指定服务(orcl)指定用户(pmis)及密码(pmis)的数据 ::运行该脚本的机器必须安装oracle @echo off @echo [ ...
linux mangos创建账号,魔兽mangos系统用户数据自动备份Linux脚本
魔兽mangos系统用户数据自动备份Linux脚本来源: 作者: 点击: #!/bin/bash USER= PASS= DBNAME=mangos RNAME=realmd clear echo ...
【kafka实战】分区重分配可能出现的问题和排查问题思路(生产环境实战,附视频)
超强!!! Kafka高质量专栏学习大全,点我获取!!! 文章目录前提所有异常情况 1. TargetBroker若不在线,迁移脚本执行会失败情景演示 2. TargetBroker在开始迁移过 ...

kafka扩容数据自动重分配脚本

kafka扩容数据自动重分配脚本相关推荐

最新文章

热门文章