应用场景: 有时候需要把topic的分区或副本到指定到某台服务器上,可用Kafka提供的kafka-reassign-partitions进行手动迁移。

1、查看当前主题的详情

kafka-topics --zookeeper hadoop01:2181 --topic topic01 --describe


可见主题为1分区2副本,leader存在ID为160的broker上。
现在要把leader存到159的broker上

2、编辑迁移配置文件

vim topicPartitionsChange.json

{“partitions”:
[{“topic”: “topic01”,
“partition”: 0,
“replicas”: [159]
}],
“version”:1
}
3、执行分区迁移

kafka-reassign-partitions --zookeeper hadoop01:2181 --reassignment-json-file topicPartitionChange.json --execute


4、查看执行结果

kafka-reassign-partitions --zookeeper hadoop01:2181 --reassignment-json-file topicPartitionChange.json --verify


5、再次查看主题最新的详情

kafka-topics --zookeeper hadoop01:2181 --topic topic01 --describe

由上图可见,主题分区已经迁移到ID位159的broker上

Kafka Topic分区手动迁移:kafka-reassign-partitions相关推荐

  1. 【kafka】kafka 2.3 版本的kafka topic 分区扩容

    文章目录 1.概述 2 .AdminZkClient扩容 1.概述 首先参考文章:[kafka]kafka 0.10以及1.x版本的kafka topic 分区扩容 因为需要所以需要一个程序对kafk ...

  2. Debezium系列之:实现不同表中的数据始终发往对应的kafka topic分区,支持根据表中任意字段分发数据到Kafka topic多个分区

    Debezium系列之:实现不同表中的数据始终发往对应的kafka topic分区,实现支持根据表中任意字段分发数据到Kafka topic多个分区 一.需求背景 二.ComputePartition ...

  3. Kafka topic分区增加副本

    Kafka中topic的每个分区可以设置多个副本.如果副本数为1,当该分区副本的leader节点宕机后,会导致该分区不可用.故需要设置多副本来保证可用性. 实际项目中,存在项目初期创建了副本数为1的t ...

  4. Kafka学习之Replication tools之Reassign Partitions Tool

    原文链接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-6.Reassign ...

  5. 【kafka】kafka 0.10以及1.x版本的kafka topic 分区扩容

    文章目录 1.概述 1.1 replicaAssignmentStr为空 1.2 指定副本 1.概述 因为需要所以需要一个程序对kafka进行扩容处理 然后写了一个方法如下 /**** @param ...

  6. 【kafka】kafka Kafka分区leader迁移

    1.概述 本篇文章是:https://articles.zsxq.com/id_7srom6n6b947.html 文章的读后感,文章中写的不详细,想做一个详细的案例. 2.原文 月 2021年10月 ...

  7. kafka多分区只有一个在消费_Kafka的topic为什么要分区

    ​从这篇文章你将了解到什么?Kafka的topic为什么要分区. 消费者组的作用. Kafka的分区分配. "Kafka是一个分布式.支持分区的(partition).多副本的(replic ...

  8. kafka的分区策略(partition assignment strategy)

    概述 kafka的分区策略指的是producer端的 各个partition中的数据如何安排给consumer消费. Range(按范围) ange策略是对每个主题而言的,首先对同一个主题里面的分区按 ...

  9. Kafka 集群扩容、分区重新分配、SparkStreaming自适应上游kafka topic partition数目变化

    一.扩容场景 了解了数据迁移,我们来看下哪些场景需要进行扩容,然后有哪些方法可以实现快速扩容的效果.通常有如下两种需要紧急扩容的场景: 集群所有节点负载都高,需要快速扩容. 集群内某几台节点负载很高, ...

最新文章

  1. DataTables 表格固定栏使用方法
  2. Flask入门学习---Hello,Flask!
  3. boost::hana::make_lazy用法的测试程序
  4. Lamp安装与实现动态网页案例(一)
  5. 关于批量插入数据之我见(100万级别的数据,mysql)
  6. web开发——Flask框架
  7. Servlet快速入门和工作原理
  8. (c语言)输入一个数,将该数按原规律插入到有序数组中
  9. mysql存储过程 大小写_MySQL数据记录大小写敏感问题【转】
  10. apply_async进程不执行_[粉丝问答6]子进程进程的父进程关系
  11. delphi7 调webservice时报错:fault occurred while processing
  12. 删除无法读取源文件或磁盘的文件 删除系统找不到指定路径的文件
  13. 霍尼韦尔扫描枪设置手动方法
  14. python期权定价代码_pythonspan data-e=6Zqc56KN/span式期权定价公式_Python_脚本语言_IT 经验_爱安网 LoveAn.com...
  15. cir模型matlab代码,怎么用 CIR模型 进行利率定价
  16. 现代密码学的第一次高光时刻
  17. PX4-python安装更换源
  18. tsv文件 java_将选定的行从tsv文件导入neo4j
  19. MXNet的训练基础脚本:base_module.py
  20. CSS 内边距与外边距

热门文章

  1. 去中心化自治组织DAO——Steemit社区介绍
  2. win10下使用Winsat对系统进行评分
  3. SAP 领料BAPI BAPI_GOODSMVT_CREATE 提示 短缺未限制使用的SL
  4. 【excel】开启了循环引用怎么关闭
  5. iPhone6 微信视频通话没有声音
  6. Android后台耗电分析及优化
  7. 服务器cpu虚拟化已禁用怎样解禁,虚拟化已禁用,有办法吗
  8. 腾讯云-产品开通和密钥查看
  9. Kubernetes Pod报错 filed to get sandbox image “k8s.gcr.io/pause:3.6“
  10. 深夜报社哪家强?我分析了大众点评20w家店告诉你!