java consumer.poll_java – 无法在kafka consumer下设置’max.poll.records’,其中cons.poll仍然返回分区下的所有记录...

我创建了多线程消费者应用程序来处理各种分区.

查看各种博客,我开始了解’max.poll.records’属性,以便控制来自给定主题,分区的记录集.(因此它可以很快从记录循环中出来,因此调用cons.poll ()保持活力)

问题是我的处理逻辑需要时间来处理每条记录.

在启动Cons-2时,两者都开始在相同的分区上工作,因为Cons-1仍未进行重新平衡(即尚未发生cons.poll()).

增加消费者以便他们可以重新平衡他们自己,cons.poll()将不会发生,除非处理所有记录.

我可能不会去’session.timeout.ms’,因为开始新的消费者也可能开始使用与Cons-1相同的分区.

我尝试使用以下方法设置属性：

props.put("max.poll.records",1);

props.put("max.poll.records","1");

但都没有改变.来自民意调查的记录.

我正在使用Apache Kafka 9和Below API.

org.apache.servicemix.bundles

org.apache.servicemix.bundles.kafka-clients

0.9.0.1_1

解决方法:

max.poll.records属性在Kafka-0.10.0中发布.它在Kafka 0.9.0.1版本中不可用.请参阅release注释中的KAFKA-3007任务.

如果您对记录的处理花费了很多时间,则以下链接可能会有所帮助.

标签：java,apache-kafka,kafka-consumer-api

来源： https://codeday.me/bug/20190611/1219667.html

java consumer.poll_java – 无法在kafka consumer下设置’max.poll.records’,其中cons.poll仍然返回分区下的所有记录...相关推荐

Kafka Consumer多线程消费
概述 OrdinaryConsumer类 ConsumerWorker.java MultiThreadedConsumer.java MultiThreadedRebalanceListener.j ...
Kafka Consumer端的一些解惑
2019独角兽企业重金招聘Python工程师标准>>> 最近一直忙着各种设计和文档,终于有时间来更新一点儿关于kafka的东西.之前有一篇文章讲述的是kafka Producer端的 ...
Apache Kafka Consumer 消费者集
1.目标在我们的上一篇文章中,我们讨论了Kafka Producer.今天,我们将讨论Kafka Consumer.首先,我们将看到什么是Kafka Consumer和Kafka Consumer的 ...
消费者组consumer group详解-Kafka从入门到精通（九）
上篇文章说了,kafka可以通过实现partitioner自定义分区,producer拦截器,拦截器是在producer发送消息之后,回调之前调用,里面主要重写两个方法,一个是onSend,可以重新定 ...
java.io.NotSerializableException: org.apache.kafka.clients.consumer.ConsumerRecord
java消费kafka数据时报错 ERROR [Executor task launch worker for task 90] - Exception in task 0.0 in stage 54 ...
Kafka consumer多线程下not safe for multi-threaded access问题
Kafka consumer多线程下not safe for multi-threaded access问题默认配置下kafka consumer的offset的commit是自动的,如需改成手动提 ...
【Kafka笔记】4.Kafka API详细解析 Java版本（Producer API，Consumer API，拦截器等）
简介 Kafka的API有Producer API,Consumer API还有自定义Interceptor (自定义拦截器),以及处理的流使用的Streams API和构建连接器的Kafka Con ...
java 获取kafka lag,聊聊kafka consumer offset lag的监控
序本文主要讨论一下kafka consumer offset lag的监控方案利用官方的类库 ConsumerOffsetChecker ConsumerGroupCommand 利用官方的JM ...
java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.assign(Ljava/util/List
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 本文链接: Flink入门程序异常,记录一下跟大家分享. SLF4J: Failed to l ...

java consumer.poll_java – 无法在kafka consumer下设置’max.poll.records’,其中cons.poll仍然返回分区下的所有记录...

java consumer.poll_java – 无法在kafka consumer下设置’max.poll.records’,其中cons.poll仍然返回分区下的所有记录...相关推荐

最新文章

热门文章