Medium网站：How Kafka’s Storage Internals Work

本篇文章介绍kafka消息存储机制；

首先提出以下问题：

1. 一个partition为什么被分割为多个segment，这些segment是怎样命名的；
2. index和log文件分别存储什么内容；
3. kafka消息查找的时间复杂度是多少，为什么可以做到这个时间复杂度？
4. kafka在存储层上有哪些性能优化的机制；

读完本王你将可以回答以上问题；

理解kafka的消息存储机制对于kafka调优是非常有帮助的；

存储管理的基本单元

对于kafka来说，存储的基本单元是partition，即数据分区；

一个partition只能由一个broker管理，数据分区是有序的不可变的消息集合，对于新增消息，只能append原有消息之后。

这个特点对于kakfa性能提升是非常有帮助的，详细原理参考：好文翻译：Thorough Introduction to Apache Kafka

topic & partition

kafka的数据保留机制

可以通过配置数据的保留时长或者数据的大小来清除之前的数据，正式由于partition的有序性以及不可变性，所以数据的清除也是非常的快的；只需要将相应offset之前的数据清除即可；

partition的分段机制

一个partition会被分为多个segment，原因是如果仅保留一个segment，那么数据量太大的时候，执行清除操作就会比较不方便；可以想象一下，删除一个文件的前半部分，仅保留后半部分，这个功能相对比较耗时而且易于出错；

在partition写入数据的时候，实际上是向segment写入数据，仅有一个segment是活跃的，但这个segment的大小达到一定时，就会关闭写入流，重新启动一个写入流；

segment的命名机制时根据其offset命名的，这样根据offse查找时非常容易查找；

offset命名机制

在磁盘上，一个partition时以一个文件夹的形式存在，每一个segment的信息由两个文件记录，一个是index文件，另一个时log文件；

消息到底存储在哪儿？

上面提到了segment由两个文件，其中一个是index文件，另一个是log文件；消息实际存储的位置时log文件，主要包含以下信息：消息key、消息内容、偏移值、时间戳、消息大小、压缩格式等；

在消息从接受到存储过程中，消息数据是不变的，所以由producer到磁盘，由磁盘到consumer，可是实现零拷贝，这也是kafka性能比较好的重要原因之一；

index文件是干什么的？

index文件从名字来看是索引用的，那么到底是什么到什么的索引呢？

通过上图可以看出，index文件是完成从offset到log中位置的映射，这样就可以根据offset在O(1)的时间复杂度下找到数据的位置；

index文件会除了会持久化到磁盘之外，还会存储在内存中，借助二分查找，快速根据offset查找到其在log中的位置；有人说这里会有一定的时间复杂度，但是考虑到每个segment的大小基本固定，而topic或者partition大小会比较大，因此可以认为时间复杂度是O(1)

对于每一个消息，index文件中会用到8个字节，其中4个字节存储offset，4个字节存储其在log中的位置；这里也用到了一个小技巧，这里的offset是相对的offset，其基点是这个segment的起始offset；

kafka的消息压缩机制

消息的压缩是在producer端完成的，前面已经提到过，由于利用零拷贝的原因，broker不会对producer传入的数据进行处理；

producer会将多个消息记录进行压缩，打包，然后提升性能；

生产者打包消息

推荐文章：

kafka源码分析 - 项目架构

kafka官网译文