Apache Kafka-max.poll.interval.ms参数含义说明
文章目录
- 官方说明
- 配置
- 原生API
- Spring Kafka
- 测试
官方说明
https://kafka.apache.org/documentation/
选择对应的版本,我这里选的是 2.4.X
https://kafka.apache.org/24/documentation.html
选择
https://kafka.apache.org/24/documentation.html#consumerconfigs
查找 max.poll.interval.ms
让我们来品一品官方的解读
啥意思?
如果两次poll操作间隔超过了这个时间,broker就会认为这个consumer处理能力太弱,会将其踢出消费组,将分区分配给别的consumer消费 ,触发rebalance 。
如果你的消费者节点总是在重启完不久就不消费了,可以考虑检查改配置项或者优化你的消费者的消费速度等等
配置
原生API
properties.put(ConsumerConfig.MAX_POLL_INTERVAL_MS_CONFIG, 10000);
Spring Kafka
根据@KafkaListener的配置
ConsumerConfig中支持的属性,没有显式声明的 都可以通过这个properties来进行修改
举个例子
consumer:auto-offset-reset: earliest # 设置消费者分组最初的消费进度为 earliestkey-deserializer: org.apache.kafka.common.serialization.StringDeserializervalue-deserializer: org.springframework.kafka.support.serializer.JsonDeserializerproperties:max:poll:interval:ms: 600000 # 10分钟 spring:json:trusted:packages: com.artisan.springkafka.domain
测试
我们随手搭建一个Spring Boot的工程来测试下,这个配置项是否生效吧
properties:max:poll:interval:ms: 600000 # 10分钟
启动
可见已生效
Apache Kafka-max.poll.interval.ms参数含义说明相关推荐
- kafka max.poll.records
一个属于new consumer的配置项,出现在0.10版本中. https://kafka.apache.org/0100/documentation.html max.poll.records T ...
- kafka 中参数:session.timeout.ms 和 heartbeat.interval.ms的区别
文章目录 1.heartbeat.interval.ms 2.heartbeat.interval.ms 与 session.timeout.ms 的对比 3.session.timeout.ms 和 ...
- 【记一次kafka报org.apache.kafka.clients.consumer.CommitFailedException异常处理】
项目场景: 项目中,使用到了kafka作为消息中间件,项目作为消费端,消费消息并进行业务处理 问题描述 在实际应用的过程中,发现偶尔但是一直存在的,有消费数据报:org.apache.kafka.cl ...
- ClickHouse Kafka引擎表 Application maximum poll interval ... leaving group
线上ClickHouse集群发现Kafka引擎表不能正常工作,物化视图未触发,无法将数据正常的摄取到ClickHouse本地表中,查看ClickHouse日志(clickhouse-server.er ...
- 《Apache Kafka实战》读书笔记-调优Kafka集群
<Apache Kafka实战>读书笔记-调优Kafka集群 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.确定调优目标 1>.常见的非功能性要求 一.性能( ...
- 《Apache Kafka 实战》读书笔记-认识Apache Kafka
<Apache Kafka 实战>读书笔记-认识Apache Kafka 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.kafka概要设计 kafka在设计初衷就是 ...
- Apache Kafka实战读书笔记(推荐指数:☆☆☆☆☆)
Apache Kafka实战读书笔记(推荐指数:☆☆☆☆☆) 认识AK 快速入门 安装和启动 小案例 消息引擎系统 消息引擎范型 AK的概要设计 吞吐量/延时 消息持久化 负载均衡和故障转移: 伸缩性 ...
- 第三集 Spring for Apache Kafka 接受消息
我们可以接受消息通过配置一个MessageListenerContainer 和提供一个消息监听或者通过使用@KafkaListener 注解 3.1 Message Listeners 当我们使用一 ...
- CC00038.kafka——|Hadoopkafka.V23|——|kafka.v23|消费者拦截器参数配置|
一.消费者拦截器参数配置:消费者参数配置补充 配置项 说明 bootstrap.servers 建立到Kafka集群的初始连接用到的host/port列表. 客户端会使用这里指定的所有的host/po ...
最新文章
- 提高C++性能的编程技术笔记:引用计数+测试代码
- Servlet3.0学习总结(四)——使用注解标注监听器(Listener)
- 中芯国际第二代FinFET工艺有望与2020年底试产
- JavaCard概述
- STM32+CubeMX开发工程笔记汇总(更新2021.8.12)
- 【C++】双边滤波器(bilateral filter)
- Java数组:随机排序
- 测试开发工程师必知必会
- 计算机网络自学之路,必看的网络工程师学习路线
- 百度网盘微信小程序文件 同步到百度网盘APP或客户端
- 02.yuyv转rgb888代码优化
- 用@ExceptionHandler 来进行异常处理
- linux 信号sigabrt,程序运行产生SIGABRT信号的原因---转
- np.zeros()生成3维
- 油价又双叒叕涨,司机教你如何开车更省油?
- 起点篇:跨入半导体行业,数字IC设计
- 用一根线模拟浦丰投针实验——Java
- unity 震动脚本_Unity - Cinemachine实现相机抖动
- 今日学习在线编程题:古人的剩余定理
- 数据结构PTA 案例6-1.5 旅游规划