springboot使用kafka发送消息，消息过大报错

报错信息如下所示：
Caused by: org.apache.kafka.common.errors.RecordTooLargeException: The message is 1527150 bytes when serialized which is larger than 1048576, which is the value of the max.request.size configuration.
从日志可以看出，kafka默认一次接收请求消息的最大量为1M,即1048576字节，从这我们可以想到解决方案将max.request.size调大。接下来就会配置属性spring.kafka.producer.max.request.size，然而这样并不能解决问题。原因在于org.springframework.boot.autoconfigure.kafka.KafkaProperties类中并没有提供max.request.size属性。KafkaProperties类中提供的一些kafka的核心属性，比如clientId，bootstrapServers，key-serializer，value-serializer等，将一些非核心的属性放置在org.apache.kafka.clients.producer.ProducerConfig类中，然后在KafkaProperties类中以属性properties的方式进行提供。properties是一个Map。配置的全写为：

spring.kafka.producer.properties.max.request.size=10485760

但是需要注意的是，在这里配置的值应该小于服务端配置的最大值，否则报如下错误：
org.apache.kafka.common.errors.RecordTooLargeException: The request included a message larger than the max message size the server will accept.
如果要修改服务端配置，则需要修改两个地方，首先是server.properties，加入

message.max.bytes=12695150
然后是producer.properties，加入

max.request.size=12695150
注：
SpringBoot版本为2.3.3，kafka的版本为2.12-2.80。

下面是debug的过程;
太难调试了，暂时放弃了。。。查到了默认为1M大小，但什么时候开始解析spring.kafka.producer.properties.max.request.size这个属性的，并未调试到。

参考链接：
https://my.oschina.net/shyloveliyi/blog/1620012

springboot使用kafka发送消息，消息过大报错相关推荐

利用Kafka发送/消费消息-Java示例
利用Kafka发送/消费消息-Java示例当使用命令行工具把基本的组件运行起来后,再使用Java client就很简单,这里是入门的第一个Java客户端程序,有很多需要深入理解的地方. 依赖配置 & ...
配置Kafka发送大消息
Apache Kafka是一个强大开源.分布式容错的事件流平台.然而,当我们使用Kafka发送大于配置的大小限制的消息时,它会给出一个错误.前文介绍了Spring集成Kafka,本文研究如何使用Kaf ...
【微信公众号】8、SpringBoot整合WxJava发送模板消息
模板消息仅用于公众号向用户发送重要的服务通知,只能用于符合其要求的服务场景中,如信用卡刷卡通知,商品购买成功通知等.不支持广告等营销类消息以及其它所有可能对用户造成骚扰的消息. 1.主动发送消息 1. ...
python 查看kafka发送的消息格式及消息内容
from pykafka import KafkaClientclient = KafkaClient(hosts="0.0.0.0:9092") topic = client.t ...
springboot kafka发送消息
场景:kafka发送消息,并且根据消息发送的不同渠道和消息类型(例如发送到WX,DingDing,邮箱),采取不同的线程池处理 1.引入依赖 <dependency><groupId ...
KAFKA SpringBoot2 Nacos 消息异步发送和消费消息（进阶篇）
文章目录一.基础集成 1. 技术选型 2. 导入依赖 3. kafka配置 4. auto-offset-reset 简述 5. 新增一个订单类 6. 生产者(异步) 7. 消费者 8. kafka ...
在idea中往Kafka发送消息失败
今天在学习Kafka整合Springboot项目的时候,往Kafka发送消息,消费者一直消费不到,ip地址,端口号,防火墙的状态都没有发现问题.后来发现是因为idea没有连接到虚拟机的,一直在找本机的 ...
SpringBoot集成Kafka消息队列
1.说明 Spring可以方便的集成使用 Kafka消息队列 , 只需要引入依赖包spring-kafka, 注意版本兼容问题, 本文详细介绍SpringBoot集成Kafka的方法, 以及生产者和消 ...
【无废话】SpringBoot集成Kafka消息队列
0.前言本人整理收藏了22年多家公司面试知识点整理 ,以及各种Java核心知识点免费分享给大家,我认为对面试与学习来说是非常有用的,想要资料的话请点白嫖这份答案←戳我** 1.说明 Spring可以 ...

springboot使用kafka发送消息，消息过大报错

springboot使用kafka发送消息，消息过大报错相关推荐

最新文章

热门文章