Consumer is not subscribed to any topics

为什么80%的码农都做不了架构师？>>>

产生该问题的原因主要是zookeeper中存在旧版本的kafka-connect topic信息，导致新版本的kafka-connect启动异常：

ERROR Unexpected exception in Thread[KafkaBasedLog Work Thread - connect-configs,5,main] (org.apache.kafka.connect.util.KafkaBasedLog:334)
java.lang.IllegalStateException: Consumer is not subscribed to any topics or assigned any partitionsat org.apache.kafka.clients.consumer.KafkaConsumer.poll(KafkaConsumer.java:1109)at org.apache.kafka.connect.util.KafkaBasedLog.poll(KafkaBasedLog.java:256)at org.apache.kafka.connect.util.KafkaBasedLog.access$500(KafkaBasedLog.java:69)at org.apache.kafka.connect.util.KafkaBasedLog$WorkThread.run(KafkaBasedLog.java:327)

解决办法：

（1）使用kafka命令列出所有与connect相关的topic：

bin/kafka-topics.sh --list --zookeeper 10.255.8.102:2181

输出：

__consumer_offsets
ambari_kafka_service_check
connect-configs
connect-offsets
connect-status

（2）使用kafka命令删除所有与connect相关的topic：

bin/kafka-topics.sh --delete --zookeeper 10.255.8.102:2181 --topic connect-configs
bin/kafka-topics.sh --delete --zookeeper 10.255.8.102:2181 --topic connect-offsets
bin/kafka-topics.sh --delete --zookeeper 10.255.8.102:2181 --topic connect-status

最后验证是否删除：

bin/kafka-topics.sh --list --zookeeper 10.255.8.102:2181

输出：

__consumer_offsets
ambari_kafka_service_check
connect-configs - marked for deletion
connect-offsets - marked for deletion
connect-status - marked for deletion

输出信息中显示三个connect topic已被标记删除了，要想彻底删除，需要在kafka的server.properties配置文件里设置delete.topic.enable=true

转载于:https://my.oschina.net/dabird/blog/1926285

Consumer is not subscribed to any topics相关推荐

【kafka】Consumer is not subscribed to any topics
1.概述一个网友的问题,然后我帮他解决,后来没告诉我后面结果如何了,先转载记录一下转载: https://blog.csdn.net/github_32521685/article/details ...
kafka consumer配置拉取速度慢_Kafka消费者的使用和原理
这周我们学习下消费者,仍然还是先从一个消费者的Hello World学起: public class Consumer { public static void main(String[] args) ...
4.2.10 Kafka源码剖析, 阅读环境搭建, broker启动流程, topic创建流程, Producer生产者流程, Consumer消费者流程,
目录 4.1 Kafka源码剖析之源码阅读环境搭建 4.1.1 安装配置Gradle 4.1.2 Scala的安装和配置 4.1.3 Idea配置 4.1.4 源码操作 4.2 Kafka源码剖析之B ...
KafkaConsumer分析
一重要的字段 String clientId:Consumer唯一标识 ConsumerCoordinator coordinator: 控制Consumer与服务器端GroupCoordinato ...
kafka使用_Kafka 消费者的使用和原理
继上周的<Kafka 生产者的使用和原理>,这周我们学习下消费者,仍然还是先从一个消费者的Hello World学起: public class Consumer { public sta ...
Kafka消费者的使用和原理
作者 | 草捏子来源 | 草捏子(ID:chaycao) 头图 | CSDN 下载自视觉中国这周我们学习下消费者,还是先从一个消费者的Hello World学起: public class Co ...
kafka从头消费信息
命令行 1 group id换成新的 2 offset参数设为earliest kafka-console-consumer.sh \ --bootstrap-server mypc01:9092,m ...
KafkaConsumer源码翻译(中英对照)
阅读kakka源码时,英语不好,翻译的比较费劲,经常翻译了后面的,忘记了前面说的什么了,等回到前面之后,前面说的是什么,英文又不认识了,在这里做一个记录,慢慢写吧,估计会写的很艰难,目前更新的不多,哎 ...
Kafka 3.0 源码笔记(3)-Kafka 消费者的核心流程源码分析
文章目录前言 1. 消费者负载均衡的实现 2. 源码分析 2.1 KafkaConsumer 的初始化 2.2 KafkaConsumer 的消息拉取 2.2.1 消息拉取的准备及入口 2.2.2 ...

Consumer is not subscribed to any topics

Consumer is not subscribed to any topics相关推荐

最新文章

热门文章