增加(或减少)Kafka topic的副本数

2024-05-11 18:26:41

之前的文章讲述了Kafka的分区重分配，该方法同样可以用来增加或减少Kafka topic的副本数。该方法，可灵活地运用于提高topic的高可用性，提高数据的读写等场景。

目录

从一个副本数，增加到2个副本数。

再增加一个副本，达到3个副本数

从一个副本数，增加到2个副本数。

创建reassign.json文件

{"version":1,"partitions":[{"topic":"topic_replica_test","partition":0,"replicas":[164,150]},{"topic":"topic_replica_test","partition":1,"replicas":[165,151]},{"topic":"topic_replica_test","partition":2,"replicas":[150,152]}]}

执行重分配操作

kafka-reassign-partitions --zookeeper zk1:2181 --reassignment-json-file reassign.json --execute

输出会显示当前partition的分布Current partition replica assignment，可以保存下来以便有问题进行回滚。

再次查看topic的partiton分布和replica数可以看到，已经增加了副本。

kafka-topics --zookeeper zk1:2181 --topic topic_replica_test --describe

再增加一个副本，达到3个副本数

kafka-reassign-partitions --zookeeper zk1:2181 --reassignment-json-file reassign.json --execute

如果topic数据量比较大，可能调整副本数的过程会非常慢，可以用verify命令查询进度。

kafka-reassign-partitions --zookeeper zk1:2181 --reassignment-json-file reassign.json --verify

再次查看topic的partiton分布和replica数可以看到，已经增加了3个副本。

kafka-topics --zookeeper zk1:2181 --topic topic_replica_test --describe

欢迎关注我的公众号“九万里大数据”，原创技术文章第一时间推送。

欢迎访问原创技术博客网站 jwldata.com，排版更清晰，阅读更爽快。

增加(或减少)Kafka topic的副本数相关推荐

kafka 在线修改副本数
背景前段时间由于集群各台机器配置不一样,导致部分机器磁盘吃紧.定位发现kafka log数据占了一半的容量,而且某一个topic的数据惊人,50个partition,每个partition24G, ...
5、kubernetes Scale Up/Down在线增加或减少 Pod 的副本数、Failover故障转移、用 label(标签)控制 Pod 的位置
伸缩(Scale Up/Down)是指在线增加或减少 Pod 的副本数. Deployment nginx-app 初始是两个副本 [root@master ~]# kubectl apply -f ...
kafka修改分区数_ELK|kafka增加分区或调整副本数
Sommaire de cet article : kafak管理常用的工具是kafka-manager和kakfa-eagle.这两个工具在分区管理上都是只管加不管减,副本调整的话,也不支持,只能自 ...
为什么Kafka中的分区数只能增加不能减少？
作者:朱小厮来源:朱小厮的博客当一个主题被创建之后,依然允许我们对其做一定的修改,比如修改分区个数.修改配置等,这个修改的功能就是由kafka-topics.sh脚本中的alter指令所提供.我们 ...
Kafka topic分区增加副本
Kafka中topic的每个分区可以设置多个副本.如果副本数为1,当该分区副本的leader节点宕机后,会导致该分区不可用.故需要设置多副本来保证可用性. 实际项目中,存在项目初期创建了副本数为1的t ...
kafka 修改分区_kafka修改分区和副本数
kafka修改分区和副本数查看现在副本分配情况 ../bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --describe --topic test1 ...
hdfs的副本数为啥增加了_设置hdfs副本数 dfs.replication
设置hdfs副本数 dfs.replication 有个临时应用,使用临时调配的机器,机器磁盘差别数十倍. 在使用hadoop存储数据时导致小磁盘机器使用率达80%多,而大磁盘机器使用不过才10%多一 ...
hdfs的副本数为啥增加了_HDFS详解之块大小和副本数
1.HDFS HDFS : 伪分布式(学习) NN DN SNN sbin/start-dfs.sh(开启hdfs使用的脚本) bin/hdfs dfs -ls (输入命令加前缀bin/hdfs df ...
hdfs的副本数为啥增加了_HDFS架构小结
分布式文件系统 - Hadoop Distributed File System (HDFS)运行于通用硬件上的分布式文件系统,高吞吐,高可靠. HDFS架构 HDFS主要由NameNode.Seco ...

最新文章

热门文章