kafka producer写入超时

2019独角兽企业重金招聘Python工程师标准>>>

现象：

kafka producer一开始写入正常，慢慢的会大量超时异常，偶尔正常写入；在callback函数打印异常信息为

org.apache.kafka.common.errors.TimeoutException: Expiring 2 record(s) for testTopic-0 due to 64534 ms has passed since batch creation plus linger time

原因：

producer send方法的callback函数执行缓慢导致；

producer往broker发送数据时是串行的，只有上次batch全部写入broker，并且全部callback函数执行完毕后，才会继续下一次发送。如果上一次发送全部callback函数执行时间超过了request.timeout.ms(30s)，就会导致后续batch的message发送时间大于创建时间30s以上，然后被producer丢弃并抛出异常；

方法：

1.加大request.timeout.ms值；

2.调整callback，使得batch的callback执行时间在request.timeout.ms之内；

转载于:https://my.oschina.net/u/134474/blog/1531556

kafka producer写入超时相关推荐

Kafka Producer 实现源码分析
前言拥抱变化接手了 Kafka 平台,遂学习 0.10.0 线上版本的设计与实现.限于篇幅,本文不会逐行解析源码,而是从逻辑流程.设计模式.并发安全等方面学习各组件,笔记仅供个人 Review 一: ...
kafka学习_《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 RabbitMQ
前言之前有文章 <从0到1学习Flink>-- Flink 写入数据到 Kafka 写过 Flink 将处理后的数据后发到 Kafka 消息队列中去,当然我们常用的消息队列可不止这一种, ...
6张图为你分析Kafka Producer 消息缓存模型
本文分享自华为云社区<图解Kafka Producer 消息缓存模型>,作者:石臻臻的杂货铺. 在阅读本文之前, 希望你可以思考一下下面几个问题, 带着问题去阅读文章会获得更好的效果. 发 ...
1.30.Flink SQL案例将Kafka数据写入hive
1.30.Flink SQL案例将Kafka数据写入hive 1.30.1.1.场景,环境,配置准备 1.30.1.2.案例代码 1.30.1.2.1.编写pom.xml文件 1.30.1.2.2.M ...
Kafka Producer幂等性
Producer幂等性在 Kafka 中,Producer 默认不是幂等性的,但我们可以创建幂等性 Producer.它其实是 0.11.0.0 版本引入的新功能.在此之前,Kafka 向分区发送数 ...
Kafka Producer拦截器
欢迎支持笔者新作:<深入理解Kafka:核心设计与实践原理>和<RabbitMQ实战指南>,同时欢迎关注笔者的微信公众号:朱小厮的博客. 欢迎跳转到本文的原文链接:https: ...
SAP Data Intelligence Modeler里的Kafka Producer和Kafka Consumer
首先本地将kafka的docker容器镜像下载到本地并运行: docker search kafka docker pull spotify/kafka docker run --name kafka ...
【kafka】Kafka Producer Sticky Partitioner kafka 生产者粘性分区器
1.概述转载:[译]Kafka Producer Sticky Partitioner 最近事情多有点犯懒,依然带来一篇译文:Apache Kafka Producer Improvements w ...
tcp实时传输kafka数据_关于Kafka producer管理TCP连接的讨论
在Kafka中,TCP连接的管理交由底层的Selector类(org.apache.kafka.common.network)来维护.Selector类定义了很多数据结构,其中最核心的当属java.n ...

kafka producer写入超时

kafka producer写入超时相关推荐

最新文章

热门文章