1.概述

一个网友的问题，然后我帮他解决，后来没告诉我后面结果如何了，先转载记录一下
转载：
https://blog.csdn.net/github_32521685/article/details/89953671

产生该问题的原因主要是zookeeper中存在旧版本的kafka-connect topic信息，导致新版本的kafka-connect启动异常：

ERROR Unexpected exception in Thread[KafkaBasedLog Work Thread - connect-configs,5,main] (org.apache.kafka.connect.util.KafkaBasedLog:334)
java.lang.IllegalStateException: Consumer is not subscribed to any topics or assigned any partitionsat org.apache.kafka.clients.consumer.KafkaConsumer.poll(KafkaConsumer.java:1109)at org.apache.kafka.connect.util.KafkaBasedLog.poll(KafkaBasedLog.java:256)at org.apache.kafka.connect.util.KafkaBasedLog.access$500(KafkaBasedLog.java:69)at org.apache.kafka.connect.util.KafkaBasedLog$WorkThread.run(KafkaBasedLog.java:327)

解决办法：

（1）使用kafka命令列出所有与connect相关的topic：

bin/kafka-topics.sh --list --zookeeper 10.255.8.102:2181

输出：

__consumer_offsets
ambari_kafka_service_check
connect-configs
connect-offsets
connect-status

（2）使用kafka命令删除所有与connect相关的topic：

bin/kafka-topics.sh --delete --zookeeper 10.255.8.102:2181 --topic connect-configs
bin/kafka-topics.sh --delete --zookeeper 10.255.8.102:2181 --topic connect-offsets
bin/kafka-topics.sh --delete --zookeeper 10.255.8.102:2181 --topic connect-status

最后验证是否删除：

bin/kafka-topics.sh --list --zookeeper 10.255.8.102:2181

输出：

__consumer_offsets
ambari_kafka_service_check
connect-configs - marked for deletion
connect-offsets - marked for deletion
connect-status - marked for deletion

输出信息中显示三个connect topic已被标记删除了，要想彻底删除，需要在kafka的server.properties配置文件里设置delete.topic.enable=true

2.分析原因

从指定的主题或者分区获取数据，在poll之前，你没有订阅任何主题或分区是不行的,每一次poll,消费者都会尝试使用最后一次消费的offset作为接下来获取数据的start offset，最后一次消费的offset也可以通过seek(TopicPartition, long)设置或者自动设置
通过源码可以找到：

public ConsumerRecords<K, V> poll(long timeout) {acquire();try {if (timeout < 0)throw new IllegalArgumentException("Timeout must not be negative");// 如果没有任何订阅，抛出异常if (this.subscriptions.hasNoSubscriptionOrUserAssignment())throw new IllegalStateException("Consumer is not subscribed to any topics or assigned any partitions");// 一直poll新数据直到超时long start = time.milliseconds();// 距离超时还剩余多少时间long remaining = timeout;do {// 获取数据，如果自动提交，则进行偏移量自动提交，如果设置offset重置，则进行offset重置Map<TopicPartition, List<ConsumerRecord<K, V>>> records = pollOnce(remaining);if (!records.isEmpty()) {// 再返回结果之前，我们可以进行下一轮的fetch请求，避免阻塞等待fetcher.sendFetches();client.pollNoWakeup();// 如果有拦截器进行拦截，没有直接返回if (this.interceptors == null)return new ConsumerRecords<>(records);elsereturn this.interceptors.onConsume(new ConsumerRecords<>(records));}long elapsed = time.milliseconds() - start;remaining = timeout - elapsed;} while (remaining > 0);return ConsumerRecords.empty();} finally {release();}
}

【kafka】Consumer is not subscribed to any topics相关推荐

【Kafka】Consumer group 'console-consumer-28367' has no active members.
1.美图 2.概述想查看某个消费组的详情,结果报错 (base) lcc@lcc kafka_2.11-1.1.0$ bin/kafka-consumer-groups.sh --new-consu ...
【kafka】Kafka consumer处理大消息数据过大导致消费停止问题
文章目录 1.概述 2.案例分析 3.kafka的设计初衷 3.1 broker 配置 3.2 Consumer 配置 M.扩展 1.概述转载:https://www.cnblogs.com/wyn ...
【Kafka】消费者组 Consumer Group（三）
文章目录一.概念二.创建Topic 三.开启3个Consumer的消费者组Group (分区数量1 < 消费者数量3) 3.1 结论一:一个分区Partition只能被一个消费者抢占.(组内 ...
【kafka】Kafka Fetch Session 剖析
1.概述转载:https://www.cnblogs.com/smartloli/p/14352489.html 1.概述最近有同学留言在使用Kafka的过程中遇到一些问题,比如在拉取的Topic ...
【Kafka】Kafka 使用 Twitter 的 Bijection 类库实现 avro 的序列化与反序列化
1.概述请参考:https://www.jianshu.com/p/a70950bab06d [Kafka]Kafka 使用传统的 avro API 自定义序列化类和反序列化类比较麻烦,需要根据 ...
【Kafka】第三篇-Kafka的集群及Canal介绍
[上一章 [Kafka]第二篇-Kafka的核心概念及分区消费规则] 学习路线 Kafka集群架构 Kafka集群环境 1.kafka是一个压缩包,直接解压即可使用,所以我们就解压三个kafka: 2 ...
【Kafka】从kafka中读取最新数据
[Kafka]从kafka中读取最新数据一.死循环无限拉取kafka数据 1.1 整体框架剖析 1.2 测试二.@KafkaListener注解实现监听kafka数据三.参考资料前情提要:我 ...
【kafka】Kafka 幂等 Producer
1.概述 [Kafka]Kafka幂等性原理及实现剖析 [kafka]Kafka 事务性之幂等性实现官网:Idempotent Producer 2.简介 Kafka提供了"至少一次&qu ...
【Kafka】Kafka 如果动态不停止的情况下修改消费组 offset
文章目录 1.概述 2.方案1 3.方案2 1.概述测试点:有人遇到这样的情况,他一个消费者正在消费一个环境的topic,然后他想启动另外一个消费组,但是是使用了同一个消费组,这个去更改消费组of ...

【kafka】Consumer is not subscribed to any topics

1.概述

2.分析原因

【kafka】Consumer is not subscribed to any topics相关推荐

最新文章

热门文章