kafka 报错：kafka server：Message was too large ，server rejected it to avoid allocation

kafka报错信息：
kafka server：Message was too large ，server rejected it to avoid allocation
kafka版本：
kafka_2.11-1.0.0

原因分析：
查看kafka配置，默认单条消息最大为1M，当单条消息长度超过1M时，就会出现发送到broker
失败，从而导致消息在producer的队列中一直累积，直到撑爆生产者的内存。

于是赶紧修改kafka配置，解决问题。主要修改步骤如下：
1.修改kafka的broker配置：message.max.bytes（默认:1000000B），这个参数表示单条
消息的最大长度。在使用kafka的时候，应该预估单条消息的最大长度，不然导致发送失败。
2.修改kafka的broker配置：replica.fetch.max.bytes (默认: 1MB)，broker可复制的
消息的最大字节数。这个值应该比message.max.bytes大，否则broker会接收此消息，但无
法将此消息复制出去，从而造成数据丢失。
3.修改消费者程序端配置：fetch.message.max.bytes (默认 1MB) – 消费者能读取的最大
消息。这个值应该大于或等于message.max.bytes。如果不调节这个参数，就会导致消费者无
法消费到消息，并且不会爆出异常或者警告，导致消息在broker中累积，此处要注意。
需要考虑的问题：
1.从性能上考虑：通过性能测试，kafka在消息为10K时吞吐量达到最大，更大的消息会降低
吞吐量，在设计集群的容量时，尤其要考虑这点。
2.可用的内存和分区数：Brokers会为每个分区分配replica.fetch.max.bytes参数指定的
内存空间，假设replica.fetch.max.bytes=1M，且有1000个分区，则需要差不多1G的内存，
确保分区数*最大的消息不会超过服务器的内存，否则会报OOM错误。同样地，消费端
的fetch.message.max.bytes指定了最大消息需要的内存空间，同样，分区数*最大需要内存
空间不能超过服务器的内存。所以，如果你有大的消息要传送，则在内存一定的情况下，只
能使用较少的分区数或者使用更大内存的服务器。
3.垃圾回收：更大的消息会让GC的时间更长（因为broker需要分配更大的块），随时关注GC的
日志和服务器的日志信息。如果长时间的GC导致kafka丢失了zookeeper的会话，则需要配
置zookeeper.session.timeout.ms参数为更大的超时时间。

解决办法：

在kafka的文件server.properties中添加如下三个个配置项，均设置为标准的10M：

#broker能接收消息的最大字节数
message.max.bytes=10485760 (10M)
#broker可复制的消息的最大字节数
replica.fetch.max.bytes=10485760 (10M)
#消费者端的可读取的最大消息
fetch.message.max.bytes=10485760 (10M)

或者在启动的时候加入到参数后面：
bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic my-topic --config max.message.bytes=128000

kafka 报错：kafka server：Message was too large ，server rejected it to avoid allocation相关推荐

go连接Kafka报错kafka: client has run out of available brokers to talk to
问题出现的场景: 有个go写的项目,原来是用go vendor来管理依赖包的,现在改为是用go module方式了,转换之后,编译成功,发现了上面的错误.很显然连接kafka集群报错了. 问题的原因: ...
【Flink】Flink 写入 kafka 报错 The server disconnected before a response was received
文章目录 1.场景再现 1.1.概述 1.场景再现 1.1.概述 Flink 写入 kafka 报错 The server disconnected before a response was rec ...
win10 启动kafka报错另一个程序正在使用此文件，进程无法访问
welcome to my blog 问题描述: win10启动kafka报错: ERROR Failed to clean up log for __consumer_offsets-39 in d ...
【Spark】Spark Stream读取kafka写入kafka报错 AbstractMethodError
1.概述根据这个博客 [Spark]Spark 2.4 Stream 读取kafka 写入kafka 报错如下 Exception in thread "main" java.l ...
kafka报错：creating broker listeners from xxx unable to parse xxx:9092 to a broker endpoint
1.美图 2.背景 kafka报错:creating broker listeners from xxx unable to parse xxx:9092 to a broker endpoint 具 ...
【Kafka】kafka报错 UnknownHostException: %HOSTGROUP::host_group_zookeeper%: Temporary failure in name re
1.概述背景和这个有关:[Kafka]docker下kafka报错 IOException: Connection to xxx:19093 (id: 1002 rack: null) failed ...
Kafka : 报错 KafkaController NoSuchElementException : : key not found : [xxx]
1.美图 2.背景运行中的kafka 报错如下目前还没找到原因参考:KafkaKAFKA-415 参考:KafkaKAFKA-3239
kafka报错：Error writing out kafka.log:type=Log,name=LogStartOffset,topic=xx EofException
文章目录 1.美图 2.背景 1.美图 2.背景 cdh启动kafka报错,错误代码如下 Error writing out kafka.log:type=Log,name=LogStartOffse ...
Flink读取Kafka报错：KafkaException ByteArrayDeserializer is not an instance Deserializer
1.视界 2.背景做flink读取kafka报错 org.apache.kafka.common.KafkaException: Failed to construct kafka consumer ...

kafka 报错：kafka server：Message was too large ，server rejected it to avoid allocation

kafka 报错：kafka server：Message was too large ，server rejected it to avoid allocation相关推荐

最新文章

热门文章