应用场景: 有时候需要把topic的分区或副本到指定到某台服务器上,可用Kafka提供的kafka-reassign-partitions进行手动迁移。

1、查看当前主题的详情

kafka-topics --zookeeper hadoop01:2181 --topic topic01 --describe


可见主题为1分区2副本,leader存在ID为160的broker上。
现在要把leader存到159的broker上

2、编辑迁移配置文件

vim topicPartitionsChange.json

{“partitions”:
[{“topic”: “topic01”,
“partition”: 0,
“replicas”: [159]
}],
“version”:1
}
3、执行分区迁移

kafka-reassign-partitions --zookeeper hadoop01:2181 --reassignment-json-file topicPartitionChange.json --execute


4、查看执行结果

kafka-reassign-partitions --zookeeper hadoop01:2181 --reassignment-json-file topicPartitionChange.json --verify


5、再次查看主题最新的详情

kafka-topics --zookeeper hadoop01:2181 --topic topic01 --describe

由上图可见,主题分区已经迁移到ID位159的broker上

Kafka Topic分区手动迁移:kafka-reassign-partitions相关推荐

  1. 【kafka】kafka 2.3 版本的kafka topic 分区扩容

    文章目录 1.概述 2 .AdminZkClient扩容 1.概述 首先参考文章:[kafka]kafka 0.10以及1.x版本的kafka topic 分区扩容 因为需要所以需要一个程序对kafk ...

  2. Debezium系列之:实现不同表中的数据始终发往对应的kafka topic分区,支持根据表中任意字段分发数据到Kafka topic多个分区

    Debezium系列之:实现不同表中的数据始终发往对应的kafka topic分区,实现支持根据表中任意字段分发数据到Kafka topic多个分区 一.需求背景 二.ComputePartition ...

  3. Kafka topic分区增加副本

    Kafka中topic的每个分区可以设置多个副本.如果副本数为1,当该分区副本的leader节点宕机后,会导致该分区不可用.故需要设置多副本来保证可用性. 实际项目中,存在项目初期创建了副本数为1的t ...

  4. Kafka学习之Replication tools之Reassign Partitions Tool

    原文链接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-6.Reassign ...

  5. 【kafka】kafka 0.10以及1.x版本的kafka topic 分区扩容

    文章目录 1.概述 1.1 replicaAssignmentStr为空 1.2 指定副本 1.概述 因为需要所以需要一个程序对kafka进行扩容处理 然后写了一个方法如下 /**** @param ...

  6. 【kafka】kafka Kafka分区leader迁移

    1.概述 本篇文章是:https://articles.zsxq.com/id_7srom6n6b947.html 文章的读后感,文章中写的不详细,想做一个详细的案例. 2.原文 月 2021年10月 ...

  7. kafka多分区只有一个在消费_Kafka的topic为什么要分区

    ​从这篇文章你将了解到什么?Kafka的topic为什么要分区. 消费者组的作用. Kafka的分区分配. "Kafka是一个分布式.支持分区的(partition).多副本的(replic ...

  8. kafka的分区策略(partition assignment strategy)

    概述 kafka的分区策略指的是producer端的 各个partition中的数据如何安排给consumer消费. Range(按范围) ange策略是对每个主题而言的,首先对同一个主题里面的分区按 ...

  9. Kafka 集群扩容、分区重新分配、SparkStreaming自适应上游kafka topic partition数目变化

    一.扩容场景 了解了数据迁移,我们来看下哪些场景需要进行扩容,然后有哪些方法可以实现快速扩容的效果.通常有如下两种需要紧急扩容的场景: 集群所有节点负载都高,需要快速扩容. 集群内某几台节点负载很高, ...

最新文章

  1. html5-FileReader接口
  2. 一月17日新生冬季练习赛解题报告B.函数问题
  3. 20172304 《程序设计与数据结构》第六周学习总结
  4. 设置163的Centos6更新源
  5. 累累白骨下,共享单车的困局
  6. Android Fragment 真正彻底的解决(下一个)
  7. Xamarin.Forms入门学习路线
  8. Mac下PyCharm快捷键大全
  9. lpc1788的地址空间分配
  10. 计算机可移动磁盘无法显示图片,电脑显示可移动磁盘但打不开
  11. 无人车成功挑战上海路况,连续5小时不接管,谷歌自动驾驶之父看了都打Call...
  12. web前端网页设计期末课程大作业:中华传统文化题材网页源码——基于HTML实现中国水墨风书画艺术网站(12个页面)
  13. Hackintosh(黑苹果)bigsur (opencore引导)超级详细教程
  14. 网络监控cacti1.2.12邮件报警(三)
  15. Vue获取(返回)上一个路由
  16. 【Hive】如何在 Hive 中创建外部表映射 Hbase 中已存在的表
  17. SpringBoot企业级开发
  18. LAMP兄弟连——PHP免费课开班了!(在线)
  19. 直播app源代码,android弹框的几种操作
  20. 力科示波器上位机软件NS-Scope功能介绍

热门文章

  1. 国外无限php空间,关于无限空间和美国PHP主机不限制流量存储的认知
  2. mysql上机心得体会_数据库原理上机心得体会
  3. Guitar Pro2023吉他谱作曲和练习工具
  4. 从头构建自己的Linux系统
  5. Android开发-视图view讲解
  6. 【卡夫卡的岛上书店】:一个利用 vuepress 的主题 vuepress-theme-reco 以及 vuepress-theme-vdoing 搭建自己的静态博客
  7. oracle查询排名第二,2020年2月数据库排名:第一是Oracle,第二是MySQL,SQLite进前十名...
  8. uilable 上面加子视图图
  9. HBase【付诸实践 01】hbase shell 常用命令详解(表操作+数据增删改查+2种查询操作)(hbase-2.4.5 单机版standalone模式)
  10. 在Window10子系统Ubantu创建conda环境