kafka 修改分区_kafka修改分区和副本数

kafka修改分区和副本数

查看现在副本分配情况

../bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --describe --topic test1

Topic:test1 PartitionCount:3 ReplicationFactor:2 Configs:

Topic: test1 Partition: 0 Leader: 2 Replicas: 2,4 Isr: 2,4

Topic: test1 Partition: 1 Leader: 3 Replicas: 3,5 Isr: 3,5

Topic: test1 Partition: 2 Leader: 4 Replicas: 4,1 Isr: 4,1

topic 分区扩容

./kafka-topics.sh --zookeeper 127.0.0.1:2181 -alter --partitions 4 --topic test1

修改备份数量

这个文件自己创建格式按照下面的格式就可以了

根据topic的分区情况自行修改 partitions-topic.json 文件配置

{

"partitions":

[

{

"topic": "test1",

"partition": 0,

"replicas": [1,2]

{

"topic": "test1",

"partition": 1,

"replicas": [0,3]

{

"topic": "test1",

"partition": 2,

"replicas": [4,5]

}

"version":1

}

执行副本搬迁

../bin/kafka-reassign-partitions.sh --zookeeper 127.0.0.1:2181 --reassignment-json-file partitions-topic.json --execute

查看迁移情况：

../bin/kafka-reassign-partitions.sh --zookeeper 127.0.0.1:2181 --reassignment-json-file partitions-topic.json --verify

Status of partition reassignment:

Reassignment of partition [mx_prd_nginx_access,0] is still in progress

Reassignment of partition [mx_prd_nginx_access,1] completed successfully

Reassignment of partition [mx_prd_nginx_access,2] is still in progress

注释

kafka-reassign-partitions.sh工具来重新分布分区。该工具有三种使用模式：

generate模式，给定需要重新分配的Topic，自动生成reassign plan(并不执行)

execute模式，根据指定的reassign plan重新分配Partition

verify模式，验证重新分配Partition是否成功

kafka 修改分区_kafka修改分区和副本数相关推荐

kafka partition分配_kafka的分区分配策略
用过 Kafka 的同学应该都知道,每个 Topic 一般会有很多个 partitions.为了使得我们能够及时消费消息,我们也可能会启动多个 Consumer 去消费,而每个 Consumer 又会 ...
kafka 在线修改副本数
背景前段时间由于集群各台机器配置不一样,导致部分机器磁盘吃紧.定位发现kafka log数据占了一半的容量,而且某一个topic的数据惊人,50个partition,每个partition24G, ...
hdfs的副本数为啥增加了_设置hdfs副本数 dfs.replication
设置hdfs副本数 dfs.replication 有个临时应用,使用临时调配的机器,机器磁盘差别数十倍. 在使用hadoop存储数据时导致小磁盘机器使用率达80%多,而大磁盘机器使用不过才10%多一 ...
kafka修改分区数_ELK|kafka增加分区或调整副本数
Sommaire de cet article : kafak管理常用的工具是kafka-manager和kakfa-eagle.这两个工具在分区管理上都是只管加不管减,副本调整的话,也不支持,只能自 ...
java kafka 分区_Kafka 主题和分区
文章内容输出来源:拉勾教育Java高薪训练营: Topic,Kafka用于分类管理消息的逻辑单元,类似与MySQL的数据库. Partition,是Kafka下数据存储的基本单元,这个是物理上的概念. ...
kafka修改分区数_Kafka笔记
一.kafka基本介绍 1概念:是一个分布式的基于发布/订阅模式的消息队列,应用于大数据实时处理 1.消息队列(topic): 优点:解耦可恢复性缓冲削峰异步通信两种模式: 点对点模式:一对 ...
计算机改名后无法上网,CDEF磁盘分区无法修改名字修复方法
原标题:"磁盘分区无法修改名字怎么办 CDEF盘不能改名字的解决办法"关于电脑问题教程分享. - 来源:191路由网. 电脑中的磁盘分区是可以自己重命名的(改名字不是改盘符),但是 ...
移植uboot第八步：裁剪、修改默认参数、分区
写在前面: 我的博客已迁移至自建服务器:博客传送门,CSDN博客暂时停止,如有机器学习方面的兴趣,欢迎来看一看. 此外目前我在gitHub上准备一些李航的<统计学习方法>的实现算法,目标将 ...
【Android 文件管理】分区存储 ( 修改与删除图片文件 )
文章目录一.分区存储模式下使用 MediaStore 修改图片二.分区存储模式下使用 MediaStore 删除图片三.相关文档资料 Android 分区存储系列博客 : [Android 文件 ...

kafka 修改分区_kafka修改分区和副本数

kafka 修改分区_kafka修改分区和副本数相关推荐

最新文章

热门文章