kafka消费组查看和删除

生产环境监控发现kafka存在大量消费组

查看消费组信息：

./kafka-consumer-groups.sh --bootstrap-server ip:port --list

查看特定消费组信息：

./kafka-consumer-groups.sh --bootstrap-server ip:port --describe --group console-consumer-49781

多次查看发现消息数在增加，但是offset一直不变，说明这些消费组很多不在消费。

删除消费组：

./kafka-consumer-groups.sh --bootstrap-server ip:port --delete --group {消费组}

kafka的消费组和偏移量的存储位置

1. zookeeper存储
在java-api来消费，使用kafka.javaapi.consumer.ConsumerConnector，通过配置参数zookeeper.connect来消费。消费者的offset会更新到zookeeper的consumers/{group}/offsets/{topic}/{partition}目录下。

2. kafka topic存储
根据kafka默认的api来消费，即org.apache.kafka.clients.consumer.KafkaConsumer，配置参数bootstrap.servers来消费。而其消费者的offset会更新到一个kafka自带的topic：__consumer_offsets下。

本文记录下如何删除Kafka无用的消费者组。

kafka消费组查看和删除相关推荐

【Kafka】kafka消费组查看lag
文章目录 1.概述 2.使用命令 2.java 代码 2.1 0.10版本 2.x版本 3. jmx 1.概述 kafka 如何查看lag 2.使用命令 [root@1 kafka]# bin/kaf ...
跟我学Kafka:Kafka消费组运维详解
作为一个Kafka初学者,需要快速成长,承担维护公司Kafka的重任,对Kafka的学习,我按照三步走策略: 阅读Kafka相关书籍从运维实战的角度学习Kafka 阅读源码,体系化,精细化掌握其实现 ...
Kafka设计解析（十三）Kafka消费组(consumer group)
转载自 huxihx,原文链接 Kafka消费组(consumer group) 一直以来都想写一点关于kafka consumer的东西,特别是关于新版consumer的中文资料很少.最近Kafka ...
如何删除kafka消费组
当一个topic写入到kafka,而我们接入了多了个消费组,这种情况下,其中某个消费组停止消费,却会看到对应消费组的消息堆积依然在叠加,这是个奇怪的问题,暂时不知道什么原因,不过可以通过如下方式,将这 ...
Kafka消费组(consumer group)(转）
转载自:http://www.cnblogs.com/huxi2b/p/6223228.html 一直以来都想写一点关于kafka consumer的东西,特别是关于新版consumer的中文资料很少 ...
Kafka消费组(consumer group)
原文出处:https://www.cnblogs.com/huxi2b/p/6223228.html 转载请注明出处. ---------------------------------------- ...
kafka消费组和分区关系详解
消费组概念: Consumer Group 是 Kafka 提供的可扩展且有容错性的消费者机制.一个组里面有多个消费者实例,这些消费者共享一个ID,称为Group ID.组内的所有消费者协调在一起来消 ...
【FLink】Flink 消费 kafka 消费组死掉 Marking the coordinator dead for group 造成数据重复消费
文章目录 1.概述 2.源码分析 2.2 能不能设置多次提交呢? 2.3 监控日志 1.概述首先参考几个案例: [Flink]Flink Kafka 消费卡死消费组卡死 topic无写入实际有数 ...
kafka消费组与重平衡机制详解
1.消费者组 1.1 介绍消费者组,即 Consumer Group,应该算是 Kafka 比较有亮点的设计了. 那么何谓 Consumer Group 呢? Consumer Group 是 Ka ...

kafka消费组查看和删除

kafka消费组查看和删除相关推荐

最新文章

热门文章