RocketMQ（六）—IndexFile详解

IndexFile

除了通过指定Topic进行消息消费外，RocketMQ还提供了根据Key进行消息查询的功能。该查询通过store/index/infdexFile进行索引实现的快速查询。这个indexFile中的索引数据是包含Key的消息被发送到Broker时写入的。如果消息中没有Key，不会被写入。

索引条目结构

每个Broker包含一组indexFile，每个indexFile都是以该indexFile被创建时的时间戳进行命名的。
每个indexFile由三部分组成：indexHeader（索引头），Slots（曹伟），indexes（索引数据）。
每个indexFile包含500万个slot，每个slot有可能会挂载很多index索引单元
示意图如下：

indexHeader长度为40字节，包含六个内容：biginTimestamp(第一条消息存储时间戳)，endTimestamp（最后一条消息存储时间戳），biginPhyoffset(第一条消息在commitlog中的偏移量，即commitlog offset)，endPhyoffset（最后一条消息在commitlog中的偏移量），hashSlotCount（含有index的slot数量），indexCount(包含的索引单元的个数)
示意图如下：

注意，并不是每slot都挂载index索引单元，hashSlotCount统计的是所有挂载了index索引单元的slot数量。

indexes与slots的关系

事实上，所有的index统一放在所有的slots后，而不是每个slots后面放该slot挂载的indexes。因为无法确定该slot要挂载的indexes数量并预留空间。

key的hash值 % 500万的结果即为slot槽位，然后将该slot值修改为该index索引单元的indexNo，根据这个indexNo可以计算出该index单元在indexFile中的位置。
该取模结果的重复率是很高的，为了解决该问题，在每个index索引单元中增加了preIndexNo，用于指定该slot中当前index索引单元的前一个index索引单元。
slot中始终存放的是其下最新的index索引单元的indexNo，这样的话，只要找到了slot就可以找到其最新的index索引单元，而通过这个index索引单元就可以找到其之前的所有index索引单元。
indexNo是一个在indexFile中的流水号，从0依次递增。即在一个indexFile中所有indexNo是以此递增的。indexNo在index索引单元中是没有体现的，其是通过indexes中依次数出来的

示意图如下：

也就是说，每个index都有一个名为preIndexNo的参数指向前一个索引单元，而slot的indexNo指向当前slot最后一个索引单元

index索引单元默认20个字节，存放keyHash（消息中指定业务key的hash值），phyOffset(当前key对应的commitlog offset)，timeDiff（当前key对应消息的存储时间与indexFile的时间差），preIndexNo（当前slot下index索引单元的前一个索引单元的indexNo）。示意图如下：

indexFile的创建时机

当第一条带key的消息发送来后，系统发现没有indexFile，此时会创建第一个indexFile文件
当一个indexFile中挂载的index索引单元数量超出2000w个时，会创建新的indexFile。当带key的消息发送到来后，系统会找到最新的indexFile，并从indexHeader的最后4字节中读取到indexCount。若indexCount >= 2000w时，会创建新的indexFile。

消息的查询流程

RocketMQ（六）—IndexFile详解相关推荐

重磅！阿里首次全面公开展示AI布局（附布局图/成绩单/六产业详解）
01 阿里首次公开展示AI布局 12月20日,阿里云云栖大会·北京峰会召开,作为2017年阿里云栖大会最后一场,阿里做足了噱头,系列预热"重磅"."史无前例"等 ...
从源码分析RocketMQ系列-RocketMQ消息设计详解
1 消息存储消息存储是RocketMQ中最为复杂和最为重要的一部分,本节将分别从RocketMQ的消息存储整体架构.PageCache与Mmap内存映射以及RocketMQ中两种不同的刷盘方式三 ...
Java操作数据库方式(六)DataSource详解
##概述在java世界里操作数据库有很多方式,在众多方式中除了JDBC外都有DataSource对象. DataSource可以看作数据源,它封装了数据库参数,连接数据库,程序中操作DataSour ...
RocketMQ集群详解
集群特点 (1)NameServer:是一个几乎无状态节点,可集群部署,节点之间无任何信息同步. (2)Broker:部署相对复杂,Broker分为Master与Slave,一个Master可以对应多 ...
RocketMQ两万字详解
目录简介 1.RocketMQ搭建(基于linux) 1.1 安装NameServer 1.2 安装Broker 1.3 控制台安装 2 .集成Spring Boot测试 2.1添加依赖 2.2 添 ...
第一行代码学习笔记第六章——详解持久化技术
知识点目录 6.1 持久化技术简介 6.2 文件存储 * 6.2.1 将数据存储到文件中 * 6.2.2 从文件中读取数据 6.3 SharedPreferences存储 * 6.3.1 将数据存储到 ...
RocketMQ的Consumer详解之重复消息的解决方案
重复消息的解决方案造成消息重复的根本原因是:网络不可达.只要通过网络交换数据,就无法避免这个问题.所以解决这个问题的办法就是绕过这个问题.那么问题就变成了:如果消费端收到两条一样的消息,应该怎样处理 ...
RocketMQ的Consumer详解之push和pull模式（长轮询）
push和pull模式在RocketMQ中,消费者有两种模式,一种是push模式,另一种是pull模式. push模式:客户端与服务端建立连接后,当服务端有消息时,将消息推送到客户端. pull模式 ...
RocketMQ的Producer详解之分布式事务消息（代码实现以及过程分析）
执行流程 1. 发送方向 MQ 服务端发送消息. 2. MQ Server 将消息持久化成功之后,向发送方 ACK 确认消息已经发送成功,此时消息为半消息. 3. 发送方开始执行本地事务逻辑. 4. ...