Failing OffsetCommit request since the consumer is not part of an active group

kafka的一次报错：

情况介绍，报错如下：

Failing OffsetCommit request since the consumer is not part of an active group Offset commit cannot be completed since the consumer is not part of an active group for auto partition assignment; it is likely that the consumer was kicked out of the group.

consumer端大量堵塞，一个应用里的两个topic，一个消费正常，一个堵塞，公用同样的配置。
重置消费点后，观察offset点并没有从0开始。。诡异。
topic和consumer端并没有正常的订阅关系，报错里显示consumer已经被踢出组了。

最后经过排查发现结果：
根据分析日志计算时间，单条消息调用消耗的时间是3秒，一次拉取500条记录后，超过了300秒的拉取间隔。导致了consumer端的堆积。
我们调整了参数max.poll.records: 50 后，堵塞症状消除。

后续又跟进了为什么单条调用的时间是3秒，确认拿到kafka消息后，并没有直接发送，而是代码端做了一些处理，导致单条时间为3秒。
最后这3秒导致了上述的消费超时，进而堵塞。

重点总结：

**建议客户端调大max.poll.interval.ms参数，
或者调小max.poll.records参数，
使得一个批次中消息消费时间别超过session.timeout.ms**

Failing OffsetCommit request since the consumer is not part of an active group相关推荐

Kafka消费异常报Failing OffsetCommit request since the consumer
目录前言排查与解决总结前言前段时间线上某个业务系统的Kafka消费端出现数据异常,一直在重复消费某个时间段内的数据,导致界面上重复数据越来越多,询问运维发现前几日有出现过一次网络波动,推测可 ...
kafka 运维中遇到的问题
1,java.lang.InternalError: a fault occurred in a recent unsafe memory access operation in compiled k ...
kafka实战-消费者offset重置问题
kafka实战-消费者offset重置问题背景问题现象分析原因问题解决附-常见的消费者配置描述和调优方案 1. max.poll.records 2. fetch.max.bytes 3. ...
Cris 玩转大数据系列之消息队列神器 Kafka
Cris 玩转大数据系列之消息队列神器 Kafka Author:Cris 文章目录 Cris 玩转大数据系列之消息队列神器 Kafka Author:Cris 1. Kafka 概述 1.1 消息队 ...
读Kafka Consumer源码
最近一直在关注阿里的一个开源项目:OpenMessaging OpenMessaging, which includes the establishment of industry guideline ...
消费者组consumer group详解-Kafka从入门到精通（九）
上篇文章说了,kafka可以通过实现partitioner自定义分区,producer拦截器,拦截器是在producer发送消息之后,回调之前调用,里面主要重写两个方法,一个是onSend,可以重新定 ...
Kafka consumer
Kafka consumer consumer概览消费者组消费者组定义:消费者使用一个消费者组名(即group.id)来标记自己,topic的每条消息都只会被发送到每个订阅它的消费者组的一个消费者 ...
Consumer - 消费者
?消费者示例 // 配置请求参数 Properties props = new Properties(); props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CON ...
总结kafka的consumer消费能力很低造成重复消费死循环的情况下的处理方案
简介由于项目中需要使用kafka作为消息队列,并且项目是基于spring-boot来进行构建的,所以项目采用了spring-kafka作为原生kafka的一个扩展库进行使用.先说明一下版本: spr ...

Failing OffsetCommit request since the consumer is not part of an active group

Failing OffsetCommit request since the consumer is not part of an active group相关推荐

最新文章

热门文章