Kafka Topic分区手动迁移:kafka-reassign-partitions
应用场景: 有时候需要把topic的分区或副本到指定到某台服务器上,可用Kafka提供的kafka-reassign-partitions进行手动迁移。
1、查看当前主题的详情
kafka-topics --zookeeper hadoop01:2181 --topic topic01 --describe
可见主题为1分区2副本,leader存在ID为160的broker上。
现在要把leader存到159的broker上
2、编辑迁移配置文件
vim topicPartitionsChange.json
{“partitions”:
[{“topic”: “topic01”,
“partition”: 0,
“replicas”: [159]
}],
“version”:1
}
3、执行分区迁移
kafka-reassign-partitions --zookeeper hadoop01:2181 --reassignment-json-file topicPartitionChange.json --execute
4、查看执行结果
kafka-reassign-partitions --zookeeper hadoop01:2181 --reassignment-json-file topicPartitionChange.json --verify
5、再次查看主题最新的详情
kafka-topics --zookeeper hadoop01:2181 --topic topic01 --describe
由上图可见,主题分区已经迁移到ID位159的broker上
Kafka Topic分区手动迁移:kafka-reassign-partitions相关推荐
- 【kafka】kafka 2.3 版本的kafka topic 分区扩容
文章目录 1.概述 2 .AdminZkClient扩容 1.概述 首先参考文章:[kafka]kafka 0.10以及1.x版本的kafka topic 分区扩容 因为需要所以需要一个程序对kafk ...
- Debezium系列之:实现不同表中的数据始终发往对应的kafka topic分区,支持根据表中任意字段分发数据到Kafka topic多个分区
Debezium系列之:实现不同表中的数据始终发往对应的kafka topic分区,实现支持根据表中任意字段分发数据到Kafka topic多个分区 一.需求背景 二.ComputePartition ...
- Kafka topic分区增加副本
Kafka中topic的每个分区可以设置多个副本.如果副本数为1,当该分区副本的leader节点宕机后,会导致该分区不可用.故需要设置多副本来保证可用性. 实际项目中,存在项目初期创建了副本数为1的t ...
- Kafka学习之Replication tools之Reassign Partitions Tool
原文链接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-6.Reassign ...
- 【kafka】kafka 0.10以及1.x版本的kafka topic 分区扩容
文章目录 1.概述 1.1 replicaAssignmentStr为空 1.2 指定副本 1.概述 因为需要所以需要一个程序对kafka进行扩容处理 然后写了一个方法如下 /**** @param ...
- 【kafka】kafka Kafka分区leader迁移
1.概述 本篇文章是:https://articles.zsxq.com/id_7srom6n6b947.html 文章的读后感,文章中写的不详细,想做一个详细的案例. 2.原文 月 2021年10月 ...
- kafka多分区只有一个在消费_Kafka的topic为什么要分区
从这篇文章你将了解到什么?Kafka的topic为什么要分区. 消费者组的作用. Kafka的分区分配. "Kafka是一个分布式.支持分区的(partition).多副本的(replic ...
- kafka的分区策略(partition assignment strategy)
概述 kafka的分区策略指的是producer端的 各个partition中的数据如何安排给consumer消费. Range(按范围) ange策略是对每个主题而言的,首先对同一个主题里面的分区按 ...
- Kafka 集群扩容、分区重新分配、SparkStreaming自适应上游kafka topic partition数目变化
一.扩容场景 了解了数据迁移,我们来看下哪些场景需要进行扩容,然后有哪些方法可以实现快速扩容的效果.通常有如下两种需要紧急扩容的场景: 集群所有节点负载都高,需要快速扩容. 集群内某几台节点负载很高, ...
最新文章
- html5-FileReader接口
- 一月17日新生冬季练习赛解题报告B.函数问题
- 20172304 《程序设计与数据结构》第六周学习总结
- 设置163的Centos6更新源
- 累累白骨下,共享单车的困局
- Android Fragment 真正彻底的解决(下一个)
- Xamarin.Forms入门学习路线
- Mac下PyCharm快捷键大全
- lpc1788的地址空间分配
- 计算机可移动磁盘无法显示图片,电脑显示可移动磁盘但打不开
- 无人车成功挑战上海路况,连续5小时不接管,谷歌自动驾驶之父看了都打Call...
- web前端网页设计期末课程大作业:中华传统文化题材网页源码——基于HTML实现中国水墨风书画艺术网站(12个页面)
- Hackintosh(黑苹果)bigsur (opencore引导)超级详细教程
- 网络监控cacti1.2.12邮件报警(三)
- Vue获取(返回)上一个路由
- 【Hive】如何在 Hive 中创建外部表映射 Hbase 中已存在的表
- SpringBoot企业级开发
- LAMP兄弟连——PHP免费课开班了!(在线)
- 直播app源代码,android弹框的几种操作
- 力科示波器上位机软件NS-Scope功能介绍
热门文章
- 国外无限php空间,关于无限空间和美国PHP主机不限制流量存储的认知
- mysql上机心得体会_数据库原理上机心得体会
- Guitar Pro2023吉他谱作曲和练习工具
- 从头构建自己的Linux系统
- Android开发-视图view讲解
- 【卡夫卡的岛上书店】:一个利用 vuepress 的主题 vuepress-theme-reco 以及 vuepress-theme-vdoing 搭建自己的静态博客
- oracle查询排名第二,2020年2月数据库排名:第一是Oracle,第二是MySQL,SQLite进前十名...
- uilable 上面加子视图图
- HBase【付诸实践 01】hbase shell 常用命令详解(表操作+数据增删改查+2种查询操作)(hbase-2.4.5 单机版standalone模式)
- 在Window10子系统Ubantu创建conda环境