1.概述

转载：https://blog.csdn.net/u013933879/article/details/90055546

参考：Kafka无法消费！？究竟是bug的“沦陷”还是配置的“扭曲”？

2. 问题现象

在只有一个副本时，出现了broker节点丢失，因此导致了leader -1的情况

3.解决方案

直接修改zookeeper中该分区对应的state

set /brokers/topics/test_add_replication/partitions/1/state {"controller_epoch":140,"leader":1002,"version":1,"leader_epoch":12,"isr":[1002]}

稍等片刻，重新查看topic状态，即可发现leader已变更为1002

4.题外话

查看toipic状态命令

./kafka-topics.sh --describe --zookeeper localhost:2181 --topic test_add_rep
lication

查看kafka集群brokers命令

zookeeper/bin/zkCli.sh
ls /brokers/ids

修改topic的副本数量
PS：非常不建议只有1个副本

创建一个json文件，内容如下：

{"version": 1,"partitions": [{"topic": "test_add_replication","partition": 0,"replicas": [1002,1004,1001]},{"topic": "test_add_replication","partition": 1,"replicas": [1002,1004,1001]},{"topic": "test_add_replication","partition": 2,"replicas": [1002,1004,1001]},{"topic": "test_add_replication","partition": 3,"replicas": [1002,1004,1001]},{"topic": "test_add_replication","partition": 4,"replicas": [1002,1004,1001]}]
}

执行修改命令

./kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-jso
n-file /tmp/rep.json --execute

修改完成后稍等片刻即可生效

5.威胁案例

【kafka】flink kafka NullPointerException Timeout position partition could be determined

【kafka】Kafka leader -1相关推荐

【kafka】Kafka Fetch Session 剖析
1.概述转载:https://www.cnblogs.com/smartloli/p/14352489.html 1.概述最近有同学留言在使用Kafka的过程中遇到一些问题,比如在拉取的Topic ...
【kafka】kafka 同时建立很多消费者会怎么样
文章目录 1.概述 2. 环境 3. 很多消费者 1.概述这个问题,是因为 [kafka]kafka 消费报错 Failed to add leader for partitions 这个问题引起的 ...
【kafka】Kafka 幂等 Producer
1.概述 [Kafka]Kafka幂等性原理及实现剖析 [kafka]Kafka 事务性之幂等性实现官网:Idempotent Producer 2.简介 Kafka提供了"至少一次&qu ...
【Kafka】Kafka 如果动态不停止的情况下修改消费组 offset
文章目录 1.概述 2.方案1 3.方案2 1.概述测试点:有人遇到这样的情况,他一个消费者正在消费一个环境的topic,然后他想启动另外一个消费组,但是是使用了同一个消费组,这个去更改消费组of ...
【kafka】kafka获取消费组异常 EOFException: null KeeperErrorCode
文章目录 1.场景1 1.1 概述 1.2 源码解析 1.2.1 sendRequest 1.2.2 receive 1.2.3 readCompletely 1.2 4 readFromReadab ...
【kafka】kafka kerberos Cannot locate KDC Unable to locate KDC for realm
文章目录 1.概述 2.场景2 1.概述本次是在 [kafka]kafka 消费带有 kerberos认证的服务器这个都搞通的情况下,搞这个. 机器的环境如下 12.12.12.24 kdc服务 ...
【kafka】kafka kerberos KeeperErrorCode = InvalidACL for /config/topics
文章目录 1.概述 1.概述环境搭建参考:[kafka]kafka 消费带有 kerberos认证的服务器在这个kerberos认证的环境下,我想测试一下,构建zk的客户端是否需要认证,然后代码 ...
【kafka】kafka 2.4 static membership功能 group.instance.id
1.概述首先参考文章:[kafka]Kafka消费者分区分配策略详解 2.官网地址:Static Membership 静态成员关系旨在提高流应用程序.消费者组和其他构建在组再平衡协议之上的应用程 ...
【kafka】kafka 启动报错 InvalidReceiveException: Invalid receive (size = -720899)
1.概述 kafka启动报错InvalidReceiveException: Invalid receive (size = -720899) 参考文章:https://bbs.csdn.net/to ...
【kafka】kafka log 存储时间小于 offset 存储时间 offset存在但是消费不到
文章目录 1.概述 1.概述在文章 [kafka]kafka 消费速度小于日志清理速度 (kafka数据被清理了)会发生什么 auto.offset.reset 参数中我们知道了,数据消费慢于 ...

【kafka】Kafka leader -1

文章目录