kafka单条消息太大引起的线上故障

问题现象

1.收到日志异常报警，一个Flink任务写入kafka消息出现了异常，异常消息如下

org.apache.flink.streaming.connectors.kafka.FlinkKafkaException: Failed to send data to Kafka: The message is 1602187 bytes when serialized which is larger than the maximum request size you have configured with the max.request.size configuration.at org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer.checkErroneous(FlinkKafkaProducer.java:1218)at org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer.invoke(FlinkKafkaProducer.java:766)at org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer.invoke(FlinkKafkaProducer.java:98)at org.apache.flink.streaming.api.functions.sink.TwoPhaseCommitSinkFunction.invoke(TwoPhaseCommitSinkFunction.java:235)at org.apache.flink.streaming.api.operators.StreamSink.processElement(StreamSink.java:56)at org.apache.flink.streaming.runtime.tasks.OneInputStreamTask$StreamTaskNetworkOutput.emitRecord(OneInputStreamTask.java:173)at org.apache.flink.streaming.runtime.io.StreamTaskNetworkInput.processElement(StreamTaskNetworkInput.java:151)at org.apache.flink.streaming.runtime.io.StreamTaskNetworkInput.emitNext(StreamTaskNetworkInput.java:128)at org.apache.flink.streaming.runtime.io.StreamOneInputProcessor.processInput(StreamOneInputProcessor.java:69)at org.apache.flink.streaming.runtime.tasks.StreamTask.processInput(StreamTask.java:310)at org.apache.flink.streaming.runtime.tasks.mailbox.MailboxProcessor.runMailboxLoop(MailboxProcessor.java:187)

原因分析

1.看堆栈信息，发送的消息大概1.6m，单条消息太大了，超出了kakfa的设置,查下kafka客户端默认配置

这里默认是1m，发送的消息超出了默认值

解决方案

设置生产者客户端配置 ,这里设置为2m

 Properties properties = new Properties();properties.setProperty("max.request.size","2097152");

2.测试验证
在本地测试环境，测试依然报错，

依然没有效果，猜测服务端给限制了，就网上查了查资料，服务端也需要配置

3.kafka broker端配置

topic级别配置,只对topic生效，直接使用 kafak-config.sh命令设置，立马生效，不需要重启kafka 服务端
max.message.bytes
全局配置,需要重启kakfa 服务端
message.max.bytes
设置完成，再次验证
消息发送成功

5.消费者
对消费者没有影响，消费者可以正常消费消息，但是如果消息都是特别大，可能需要稍微调整下，不然消费者批量拉去就会拉取很少的
消息

kafka 版本

kafka broker 0.10.11
kafak client 0.10.11

kafka单条消息太大引起的线上故障相关推荐

就业培训 | 2020第一期重庆高校毕业生大数据职业技能线上特训营开课啦
"大数据特训营开课啦!""芝诺数据的老师太'可'了~"这几天,同学们的朋友圈被刷屏了,原来,是2020第一期重庆高校毕业生大数据职业技能线上特训营开讲了! &q ...
线上故障如何快速排查？来看这套技巧大全
简介:有哪些常见的线上故障?如何快速定位问题?本文详细总结工作中的经验,从服务器.Java应用.数据库.Redis.网络和业务六个层面分享线上故障排查的思路和技巧.较长,同学们可收藏后再看. 前言线 ...
idea本地跑如何看gc日志_线上故障如何快速排查？来看这套技巧大全
简介:有哪些常见的线上故障?如何快速定位问题?本文详细总结工作中的经验,从服务器.Java应用.数据库.Redis.网络和业务六个层面分享线上故障排查的思路和技巧.较长,同学们可收藏后再看. 前言线 ...
du -sh 如何找到最大的文件夹_线上故障如何快速排查？来看这套技巧大全
简介:有哪些常见的线上故障?如何快速定位问题?本文详细总结工作中的经验,从服务器.Java应用.数据库.Redis.网络和业务六个层面分享线上故障排查的思路和技巧.较长,同学们可收藏后再看. 前言线 ...
java基础巩固-宇宙第一AiYWM：为了维持生计，做项目经验之~SSM项目错误集锦Part3（项目蹦+pg数据库坏+100%--＞线上故障排查经验【业务bug第一步一定是先看日志，写好日志】）~整起
项目中遇到的一个问题:项目忽然蹦了,用我们的域名登陆不上去了. 根据之前的经验,一般比如我们项目登不上去了或者数据库不上数据了(数据不更新),直接在Xshell上远程reboot一下,再重启一下tom ...
线上故障之-redis锁处理幂等性失效和幂等性问题解决方案
线上故障之-redis锁处理幂等性失效和幂等性问题解决方案 redis锁处理幂等性失效事务传播bug try bug 幂等性设计方法 1. insert前先select 2. 加悲观锁 3. 加乐观 ...
阿里技术：如何快速排查线上故障？
阿里技术:如何快速排查线上故障? 以下文章来源于阿里技术 ,作者小峯阿里技术阿里巴巴官方技术号,关于阿里的技术创新均呈现于此. 有哪些常见的线上故障?如何快速定位问题?本文详细总结工作中的经验,从 ...
线上故障之-雪花算法重复、序列化、redis锁失效、double精准计算
线上故障之-雪花算法重复.序列化.redis锁失效.double精准计算雪花算法重复问题发现定位影响范围解决方案扩展-雪花算法原理分析: 序列化运营商 POP 裸机搭售自营套餐事故分析 ...
JAVA 线上故障排查套路，从 CPU、磁盘、内存、网络到GC 一条龙！
点击上方蓝色"方志朋",选择"设为星标" 回复"666"获取独家整理的学习资料! 线上故障主要会包括cpu.磁盘.内存以及网络问题,而大多数 ...
JAVA 线上故障排查完整套路，从 CPU、磁盘、内存、网络、GC 一条龙！
点击上方"方志朋",选择"设为星标" 回复"666"获取新整理的面试文章作者:fredal https://fredal.xin/java ...