kafka内存缓冲池机制造成的频繁GC问题

kafka发送消息时，会将多条消息组成一个batch再进行批量发送，这样做的目的是可以提高kafka的吞吐量，不必每次来一条消息就进行一次网络请求，那么这些批量的消息发送出去后，必然还存在于内存中，等待的将是JVM的GC，当消息越来越多时，带来的问题就是频繁的GC，也就是会造成频繁的STW。

针对上述问题，于是kafka就设计出了缓冲池的概念，kafka先将一片内存区域固定下来专门用于存放batch，每次从缓冲池申请batch，使用完后再还回缓冲池，这样就避免了每次对于batch的申请与回收，解决了JVM 频繁GC的问题。

当缓冲池满了以后，也就是说消息写入的速度大于向broker发送的速度，那么就阻塞写入，直到缓冲池中有空余内存时为止。

kafka内存缓冲池机制造成的频繁GC问题相关推荐

【Python】之内存管理机制
前言想要了解python,就必须要了解Python的内存管理机制,不然我们就会经常踩进一些莫名其妙的坑! Python的内存管理机制共分为三部分:1.引用计数 2.垃圾回收 3.内存池机制在了解以 ...
python的内存管理机制及调优手段_Python的内存管理机制及调优手段？
转载自 http://kkpattern.github.io/2015/06/20/python-memory-optimization-zh.html 准备工作为了方便解释Python的内存管理机 ...
Python内存管理机制及优化简析(转载)
from:http://kkpattern.github.io/2015/06/20/python-memory-optimization-zh.html 准备工作为了方便解释Python的内存管理 ...
jvm的内存分布，参数配置和 GC处理机制
转载 url: http://blog.csdn.net/ning109314/article/details/10411495 url:http://www.cnblogs.com/sunada20 ...
面试官问：为什么MySQL的索引不采用Kafka的索引机制
点击上方"方志朋",选择"设为星标" 回复"666"获取新整理的面试资料第一眼看到这个问题,也是很迷惑的,谁没事会问这种问题.然而,事实上 ...
python内存管理机制_[转] Python内存管理机制
一.引用计数 1.变量与对象变量赋值的时候才创建,它可以指向(引用)任何类型的对象 python里每一个东西都是对象,它们的核心就是一个结构体:PyObject 变量必须先赋值,再引用. 比如,你定 ...
什么是 Python 的「内存管理机制」？
什么是内存管理器(what) Python作为一个高层次的结合了解释性.编译性.互动性和面向对象的脚本语言,与大多数编程语言不同,Python中的变量无需事先申明,变量无需指定类型,程序员无需关心内存 ...
python中内存管理机制一共分为多少层_python 内存管理机制
内存管理机制 python中万物皆对象,python的存储问题是对象的存储问题,并且对于每个对象,python会分配一块内存空间去存储它 Python的内存管理机制:引入计数.垃圾回收.内存池机制 ...
JVM内存管理机制线上问题排查
本文主要基于"深入java虚拟机"这本书总结JVM的内存管理机制,并总结了常见的线上问题分析思路.文章最后面是我对线上故障思考的ppt总结. Java内存区域虚拟机运行时数据区如 ...

kafka内存缓冲池机制造成的频繁GC问题

kafka内存缓冲池机制造成的频繁GC问题相关推荐

最新文章

热门文章