kafka buffer.memory参数入门

2024-05-20 05:07:49

buffer.memory

Kafka的客户端发送数据到服务器，不是来一条就发一条，而是经过缓冲的，也就是说，通过KafkaProducer发送出去的消息都是先进入到客户端本地的内存缓冲里，然后把很多消息收集成一个一个的Batch，再发送到Broker上去的，这样性能才可能高。

buffer.memory的本质就是用来约束Kafka Producer能够使用的内存缓冲的大小的，默认值32MB。

如果buffer.memory设置的太小，可能导致的问题是：消息快速的写入内存缓冲里，但Sender线程来不及把Request发送到Kafka服务器，会造成内存缓冲很快就被写满。而一旦被写满，就会阻塞用户线程，不让继续往Kafka写消息了。

所以“buffer.memory”参数需要结合实际业务情况压测，需要测算在生产环境中用户线程会以每秒多少消息的频率来写入内存缓冲。经过压测，调试出来一个合理值。

与batch.size的区别

batch.size Kafka producers attempt to collect sent messages into
batches to improve throughput. With the Java client, you can use
batch.size to control the maximum size in bytes of each message batch.

buffer.memory Use buffer.memory to limit the total memory that is
available to the Java client for collecting unsent messages. When this
limit is hit, the producer will block on additional sends for as long
as max.block.ms before raising an exception.

总结

注意buffer.memory 与batch.size参数的区别
如果要发送大文件的话,要同时提高buffer.memory 和batch.size的大小

参考

Kafka关键参数设置 - wwcom123 - 博客园
https://www.cnblogs.com/wwcom123/p/11181680.html

Apache-Kafka, batch.size vs buffer.memory - Stack Overflow

kafka buffer.memory参数入门相关推荐

Kafka精品教学（入门，安装，Springboot整合Kafka）
ps:本文是博主结合视频和博客学习之后,自己实验总结编写的,如果侵权请联系删除. 要学习kafka首先要了解什么是消息队列,因为Kafka 是一个分布式的基于发布 / 订阅模式的消息队列(Messag ...
项目报Direct buffer memory错误
前言最近项目中出现了Direct buffer memory,然后搜寻网上的资料,大部分的解决方案如下: 网上的解决方案最近基于Netty的NIO做应用底层通讯架构的实现(服务发现,分布式,高可用 ...
【Flink】Direct buffer memory taskmanager.memory.task.off-heap.size
文章目录 1.场景1 1.1 概述 2.场景2 1.场景1 1.1 概述 Direct buffer memory. The direct out-of-memory error has occurr ...
tomcat，zookeeper，activeMQ，Kafka设置jvm参数
1,tomcat设置jvm参数设置方法: 在tomcat bin 目录增加配置:setenv.sh #add tomcat pid CATALINA_PID="$CATALINA_BASE ...
面试题:kafka的ACK参数-1,0,1分别代表的含义
一.kafka的ACK参数-1,0,1分别代表的含义这个acks参数在kafka的使用中,是非常核心以及关键的一个参数,决定了很多东西. Kafka producer有三种ack机制初始化prod ...
kafka的ACK参数的详解
面试的时候,一旦简历上写了Kafka,几乎必然会被问到一个问题:说说acks参数对消息持久化的影响? 这个acks参数在kafka的使用中,是非常核心以及关键的一个参数,决定了很多东西. 所以无论是为 ...
Kafka Producer重试参数retries设置取舍
Kafka Producer重试参数retries设置取舍 retries参数在版本0.11.3 建议设置 retries = Integer.MAX_VALUE max.in.flight.requ ...
Direct buffer memory
Direct buffer memory:主要应NIO引起的. 原因: Java8出现了NIO,缓存,通道,选择器.在写NIO程序的时候,经常使用ByteBuffer来读或者写入数据,这是一种基于通 ...
【Kafka】kafka OutOfMemoryError: Direct buffer memory Java heap space
1.背景做实验:[Kafka]Kafka如何开启SSL 控制台消费与生产代码消费与生产的时候,因为机器太卡导致内存溢出 java.lang.OutOfMemoryError: Direct bu ...

最新文章

热门文章