kafka消息堆积原因解析

kafka消息堆积,可以调节如下两个参数

max.poll.records

一次调用poll（）返回的最大记录数。
默认值500 就是一次最多拉取500条记录

max.poll.interval.ms

max.poll.interval.ms参数用于指定consumer两次poll的最大时间间隔（默认5分钟），如果超过了该间隔consumer client会主动向coordinator发起LeaveGroup请求，触发rebalance；然后consumer重新发送JoinGroup请求
Kafka 重平衡过程中是不能消费的，会导致消费组处于类似 stop the world 的状态下，重平衡过程中也不能提交位移，这会导致消息重复消费从而使得消费组的消费速度下降，导致消息堆积
表示你的 Consumer 程序如果在 5 分钟之内无法消费完 poll 方法返回的消息，那么 Consumer 会主动发起 “离开组” 的请求，Coordinator 也会开启新一轮 Rebalance。

The maximum delay between invocations of poll() when using consumer group management. This places an upper bound on the amount of time that the consumer can be idle before fetching more records. If poll() is not called before expiration of this timeout, then the consumer is considered failed and the group will rebalance in order to reassign the partitions to another member.

总结

消息堆积就是消费者消费的慢了,导致broker消息堆积,而如果消费者的代码没变的话,慢的原因可能是因为参数设置不合理导致不停的重复消费.

参考

Kafka 中文文档 - ApacheCN

Kafka配置max.poll.interval.ms参数_yuanpanni的博客-CSDN博客

记一次线上Kafka消息堆积踩坑总结_xiaoguozi0218的博客-CSDN博客_kafka一次poll多少数据

一次 kafka 消息堆积问题排查_后端进阶-CSDN博客_kafka 问题排查

kafka消息堆积原因解析相关推荐

平时只会用Kafka发消息，昨天突然遇到一次Kafka消息堆积生产事故！
前言线上kafka消息堆积,所有consumer全部掉线,到底怎么回事? 最近处理了一次线上故障,具体故障表现就是kafka某个topic消息堆积,这个topic的相关consumer全部掉线. 整 ...
kafka消息堆积且CPU过高代码优化
kafka消息堆积且CPU过高代码优化直接部署已有的代码程序到线上服务器,发现CPU立马升高500%左右,立马停掉服务并看源代码排查问题,翻看代码,发现通过多线程消费 kafka消息,根据对多线程的 ...
kafka 消息堆积解决
一 :背景线上kafka消费端因日志异常的解决导致消息堆积. 二 : 日志异常解决导致消息堆积线上kafka消费端日志异常,频繁打印错误日志,服务器磁盘一天就满了,此时其他服务无法正常工作.报错如 ...
解决kafka 消息堆积问题的排查及调优
一.背景说明深夜接到客户紧急电话,反馈腾讯云 kafka 中有大量消息堆积未及时消费.每分钟堆积近 100w 条数据.但是查看 ES 监控,各项指标都远还没到性能瓶颈.后天公司就要搞电商促销活动,到 ...
kafka依赖zookeeper原因解析及应用场景
kafka简介: kafka是一个发布订阅消息系统,由topic区分消息种类,每个topic中可以有多个partition,每个kafka集群有一个多个broker服务器组成,producer可以发布 ...
遇到了消息堆积，但是问题不大
这一篇我们要说的话题是消息的堆积处理,其实这个话题还是挺大的,因为消息堆积还是真的很令人头疼的,当堆积的量很大的时候,这真的是个很暴躁的问题,不过这时候真考验大家冷静的处理问题的能力了我们一起来分析 ...
kafka怎么查看消息堆积_Kafka集群消息积压问题及处理策略
阅读原文mp.weixin.qq.com 通常情况下,企业中会采取轮询或者随机的方式,通过Kafka的producer向Kafka集群生产数据,来尽可能保证Kafk分区之间的数据是均匀分布的. 在分 ...
kafka消息消费有延迟_消息中间件选型分析---从Kafka与RabbitMQ的对比来看全局
有很多网友留言:公司要做消息中间件选型,该如何选?你觉得哪个比较好?消息选型的确是一个大论题,实则说来话长的事情又如何长话短说.对此笔者专门撰稿一篇内功心法:如何看待消息中间件的选型,不过这篇只表其意 ...
为什么要使用kafka消息队列
1.为什么要使用 kafka?为什么要使用消息队列? 缓冲和削峰:上游数据时有突发流量,下游可能扛不住,或者下游没有足够多的机器来保证冗余,kafka在中间可以起到一个缓冲的作用,把消息暂存在kafk ...

kafka消息堆积原因解析

max.poll.records

max.poll.interval.ms

总结

参考

kafka消息堆积原因解析相关推荐

最新文章

热门文章