Kafka集群中 topic数据的分区迁移到其他broker

前言

kafka集群扩容后，新的broker上面不会数据进入这些节点，也就是说，这些节点是空闲的；它只有在创建新的topic时才会参与工作。除非将已有的partition迁移到新的服务器上面；所以需要将一些topic的分区迁移到新的broker上。
另外一种情况就是集群减少broker节点，对原有的topic信息进行迁移，重新分配broker节点。

简单案例

本次案例将原本存在于两个borker节点（86,87）上的topic：test01（两副本），转移到87,88两个broker上（重新分配）。

生成分配计划

进入kafka的bin目录：

cd /opt/cloudera/parcels/KAFKA/bin

新建文件：

vi topics-to-move.json{"topics":[{"topic":"test01"}],"version": 1
}

执行脚本，生成分配计划：（--broker-list "87,88"是目标borker）

kafka-reassign-partitions --zookeeper bigdata102:2181,bigdata103:2181,bigdata104:2181 --topics-to-move-json-file topics-to-move.json --broker-list "87,88" --generate

执行结果如下：

Current partition replica assignment  #当前分区的副本分配
{"version":1,"partitions":[{"topic":"test01","partition":0,"replicas":[86,87]},{"topic":"test01","partition":1,"replicas":[86,87]},{"topic":"test01","partition":2,"replicas":[86,87]}]}Proposed partition reassignment configuration #建议的分区配置
{"version":1,"partitions":[{"topic":"test01","partition":0,"replicas":[87,88]},{"topic":"test01","partition":1,"replicas":[88,87]},{"topic":"test01","partition":1,"replicas":[87,88]}]}

新建文件topic-reassignment.json，将建议的分区设置copy进去：

vi topic-reassignment.json{"version":1,"partitions":[{"topic":"test01","partition":0,"replicas":[87,88]},{"topic":"test01","partition":1,"replicas":[88,87]},{"topic":"test01","partition":1,"replicas":[87,88]}]}

执行分配计划

根据建议的分区设置，重新分配topic的分区到broker节点

kafka-reassign-partitions --zookeeper bigdata102:2181,bigdata103:2181,bigdata104:2181 --reassignment-json-file topic-reassignment.json --execute

查看执行状态

kafka-reassign-partitions --zookeeper bigdata102:2181,bigdata103:2181,bigdata104:2181 --reassignment-json-file topic-reassignment.json --verify

最终完成分配

转载于:https://www.cnblogs.com/blazeZzz/p/10242679.html

Kafka集群中 topic数据的分区迁移到其他broker相关推荐

如何查看kafka每个话题一共分了几个分区_如何决定kafka集群中话题的分区的数量...
http://blog.csdn.net/greenappple/article/details/50933872 如何决定kafka集群中topic,partition的数量,这是许多kafka用户 ...
Kafka集群间同步数据方案-Flume
Apache Flume 是一个分布式.高可靠.高可用的用来收集.聚合.转移不同来源的大量日志数据到中央数据仓库的工具. 系统要求 Java运行环境 - Java 1.8或更高版本体系结构 Even ...
kafka集群中常见错误的解决方法：kafka.common.KafkaException: Should not set log end offset on partition
kafka集群中常见错误的解决方法:kafka.common.KafkaException: Should not set log end offset on partition 参考文章: (1)k ...
【logstash】使用logstash拉取数据到kerberos+SSL认证的kafka集群中遇到的坑
说明:我的是2个集群.集群A是不加密的kafka集群,集群B是Kerberos+SSL加密的集群.需求:需要使用在测试过程中,我开始是把logstash安装在了集群A上,怎么测试都不通过.配置文件没 ...
OpenShift 4 之AMQ Streams(3) - 用Kafka MirrorMaker在Kafka集群间复制数据
<OpenShift 4.x HOL教程汇总> 文章目录什么是MirrorMaker 配置MirrorMaker 确认Kafka环境创建Source和Target 创建MirrorMa ...
拆分命令_在MongoDB分片集群中拆分数据块chunks
MongoDB Manual (Version 4.2)> Sharding > Data Partitioning with Chunks > Split Chunks in a ...
PG跨服务器的数据拷贝以及往pl/proxy集群中插入数据
上一篇文章我介绍了pl/proxy集群的部署,现在需要往这个集群里导入数据.导入的数据源和待导入的目标库在两个不同服务器的pg数据库上.用postgres_fdw技术可以实现这个功能. 首先需要在待导 ...
另类--kafka集群中jmx端口设置
# 监控kafka集群 # 有一个问题,需要在kafka-server-start.sh文件中配置端口,有如下三种办法 # 第一种:复制并修改kafka目录,比如kafka-1,kafka-2,kaf ...
容灾恢复 | 记一次K8S集群中etcd数据快照的备份恢复实践
欢迎关注「全栈工程师修炼指南」公众号点击
Kafka 集群扩容、分区重新分配、SparkStreaming自适应上游kafka topic partition数目变化
一.扩容场景了解了数据迁移,我们来看下哪些场景需要进行扩容,然后有哪些方法可以实现快速扩容的效果.通常有如下两种需要紧急扩容的场景: 集群所有节点负载都高,需要快速扩容. 集群内某几台节点负载很高, ...

Kafka集群中 topic数据的分区迁移到其他broker

前言

简单案例

生成分配计划

执行分配计划

Kafka集群中 topic数据的分区迁移到其他broker相关推荐

最新文章

热门文章

Kafka集群中 topic数据的分区 迁移到其他broker

前言

简单案例

生成分配计划

执行分配计划

Kafka集群中 topic数据的分区 迁移到其他broker相关推荐

最新文章

热门文章

Kafka集群中 topic数据的分区迁移到其他broker

Kafka集群中 topic数据的分区迁移到其他broker相关推荐