1 整体异常描述

org.apache.kafka.common.errors.RecordTooLargeException: There are some messages at [Partition=Offset]: {ME1000002013-8=4791187} whose size is larger than the fetch size 1048576 and hence cannot be returned. Please considering upgrading your broker to 0.10.1.0 or newer to avoid this issue. Alternately, increase the fetch size on the client (using max.partition.fetch.bytes)

2 背景

1) 消息队列使用的是Kafka

2) 客户端消费者使用spring boot方式进行的集成

3 原因分析

1048576字节=1MB，消费者在消费Kafka消息的时候，默认会进行单条消息大小的控制，默认

值就是1MB。

4 解决方案

spring boot 配置文件加入配置，设置拉取消息的最大值即可

spring:kafka:consumer:properties:max.partition.fetch.bytes: 104857600

whose size is larger than the fetch size相关推荐

GC之二--GC是如何回收时的判断依据、shallow（浅） size、retained（保留） size、Deep（深）size...
回到问题"为何会内存溢出?". 要回答这个问题又要引出另外一个话题,既什么样的对象GC才会回收? 一.对象存活方式判断方法在上一篇文章<GC之一--GC 的算法分析.垃圾收 ...
mysql text 最大长度报错 Row size too large. The maximum row size for the used table type
数据类型长度如下 TINYTEXT 256 bytes TEXT 65,535 bytes ~64kb MEDIUMTEXT 16,777,215 bytes ~16MB LONGTEXT 4, ...
MySQL【问题记录 01】报错 1709 - Index column size too large. The maximum column size is 767 bytes. 可能是最简单的方法
1.问题重现 CREATE TABLE `xxl_job_registry` (`id` int(11) NOT NULL AUTO_INCREMENT,`registry_group` varcha ...
thread线程栈size及局部变量最大可分配size【转】
转自:http://blog.csdn.net/sunny04/article/details/46805261 版权声明:本文为博主原创文章,未经博主允许不得转载. 进程是操作系统的最小资源管理单元 ...
oracle ||#039; where #039;||condition;,帝国cms后台添加字段提示#039;Row size too large. The maximum row size...
今天在帝国cms后台创建系统模型,添加字段时报了一个错误,ERROR 1118 (42000): Row size too large. The maximum row size for the us ...
1709 - Index column size too large. The maximum column size is 767 bytes.
1,mysql导入同事发的sql文件报如下错误:1709 - Index column size too large. The maximum column size is 767 bytes. 2, ...
Pandas 如何保存较大文件。‘ValueError: This sheet is too large! Your sheet size is: 16388602, 3 Max sheet size
Pandas 如何保存较大文件.'ValueError: This sheet is too large! Your sheet size is: 16388602, 3 Max sheet size ...
CUDA编译器nvcc可能遇到：error: asm operand type size(8) does not match type/size implied by constraint ‘r‘
0. 问题描述该问题产生于我在ptcharm中试图用cupy加速numpy计算,进行一些简单但是繁琐的数据处理,这个问题和cupy关系不大,cupy只要照着nvcc -v给出的版本号对应着下载就ok ...
Cannot create table [data_source]: 1118 - Row size too large. The maximum row size for the used tabl
1.问题在导入mysql数据库时,报错: Cannot create table [data_source]: 1118 - Row size too large. The maximum row ...
Mysql 出现Error 1118 Row size too large. The maximum row size is 65535 的解决办法
(仅作记录,下面的解决步骤我试了一下还是会报同样的错误,问题没有解决,只好把varchar类型的大小挨个的改小了一点.若是哪位大神调好了,还请指点一二.) 解决步骤 1. 在MySQL的配置文 ...

whose size is larger than the fetch size

1 整体异常描述

2 背景

3 原因分析

4 解决方案

whose size is larger than the fetch size相关推荐

最新文章

热门文章