kafka 解决大消息发送和接收报错问题

kafka消息超过一定大小会报错如下:

The message is 2044510 bytes when serialized which is larger than the maximum request size you have configured with the max.request.size configuration.

配置以下配置设置最大上传大小解决:kafka:bootstrap-servers: xxx#生产者producer:# key/value的序列化key-serializer: org.apache.kafka.common.serialization.StringSerializervalue-serializer: org.apache.kafka.common.serialization.StringSerializer# 消息投递失败，重试次数retries: 1#最大发送数量batch-size: 20000#32MB的批处理缓冲区buffer-memory: 33554432properties:max:request:size: 20971520

kafka消息超过一定大小kafka服务器接收端会报错如下

RecordTooLargeException: The request included a message larger than the max message size the server will accept.

kakfa配置

1.server.properties中添加

message.max.bytes=5242880
#每个分区试图获取的消息字节数。要大于等于message.max.bytes
replica.fetch.max.bytes=6291456
#原有的socket.send.buffer.bytes,socket.receive.buffer.bytes,socket.request.max.bytes也要改成和message.max.bytes一样的大小

2.producer.properties中添加

#请求的最大大小为字节。要小于 message.max.bytes
max.request.size = 5242880

3.consumer.properties中添加

#每个提取请求中为每个主题分区提取的消息字节数。要大于等于message.max.bytes
fetch.message.max.bytes=6291456

4.重启kakfa

#关闭kakfa
sh kafka-server-stop.sh
#启动 kakfa
nohup sh kafka-server-start.sh ../config/server.properties &

资料查询:
spring-kafka 设置发送消息的大小

kafka 解决大消息发送和接收报错问题相关推荐

go 实现 kafka 消息发送、接收
引言网络上关于 go 实现 kafka 消息发送和接收的文章很多,但是实际操作起来又不是很清楚,本文在网络资源的基础上,结合自己搭建过程中遇到的问题进行了总结. 本文的实验主机:Mac笔记本. 一. ...
python 网络编程之Socket通信案例消息发送与接收
背景网络编程是python编程中的一项基本技术.本文将实现一个简单的Socket通信案例消息发送与接收正文在python中的socket编程的大致流程图如上所示我们来首先编写客户端的代码: # ...
使用Akka持久化——消息发送与接收
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/beliefer/article/details/53929751 前言在<使用Akka持久化 ...
【ActiveMQ】消息生产者自动注入报错：Could not autowire. No beans of 'JmsMessagingTemplate' type found
标签:public style hat and 报错 require core ota ati 使用ActiveMQ过程中,定义消息生产者: package com.s ...
发送email邮件报错550、5.7.1
情况说明 exchange 搭建的邮箱服务器国内收发没问题,发送Gmail邮箱报错,初步排查邮件被拉黑解决方案1. 去反垃圾邮件组织查询了IP和域并没有拉黑,去Gmail反垃圾系统里面申诉问题24小 ...
已解决（Python爬虫requests库报错请求异常SSL错误，证书认证失败问题）requests.exceptions.SSLError: HTTPSConnectionPool
成功解决(Python爬虫requests库报错请求异常,SSL错误,证书认证失败问题)requests.exceptions.SSLError: HTTPSConnectionPool(host= ...
Kafka启动成功且运行程序无报错，无法消费数据，即外网无法连接Kafka的消费者或生产者
Kafka启动成功且运行程序无报错,无法消费数据,即外网无法连接Kafka的消费者或生产者 sparkStreaming消费kafka中的数据,得不到数据以及无报错信息,找错误如下首先检查一下,Ka ...
解决idea导入项目后依赖报错问题
解决idea导入项目后依赖报错问题参考文章: (1)解决idea导入项目后依赖报错问题 (2)https://www.cnblogs.com/dayandday/p/10607195.html (3 ...
解决Sublime包管理package control 报错 There are no packages available for installation
解决Sublime包管理package control 报错 There are no packages available for installation 真的是哔了狗了,要不是我机智的重新安装了 ...