RocketMQ 介绍 msgId生成算法

2024-05-20 05:53:13

我们用RocketMQ发送信息的时候通常都会返回如下信息：

SendResult [sendStatus=SEND_OK, msgId=0A42333A0DC818B4AAC246C290FD0000, offsetMsgId=0A42333A00002A9F000000000134F1F5, messageQueue=MessageQueue [topic=topicTest1, brokerName=mac.local, queueId=3], queueOffset=4]

对于客户端来说msgId是由客户端producer自己生成的，offsetMsgId是由服务端broker生成的,其中offsetMsgId就是我们在rocketMQ控制台直接输入查询的那个messageId。

下面就来介绍一下这两个ID的生成算法：

msgId:

以下是RocketMQ部分源码的节选

初始化参数LEN,FIX_STRING,COUNTER

初始化buffer

设置开始时间

字节转string工具方法

最终生成msgId

其中createUniqId就是最终生成msgId方法。除些之外的方法者是createUniqId调用或者被间接调用的方法，这些方法实现也比较简单。这里就不一一解释了~

StringBuilder sb = new StringBuilder(LEN * 2);

由此可知msgId的长度是LEN * 2 = 16 * 2 = 32；

设time = 当前时间 - 本月开始时间(ms);

从代码得到 FIX_STRING = ip + 进程pid + MessageClientIDSetter.class.getClassLoader().hashCode()；

createUniqIDBuffer 加入time 和 counter 因子。

最终得到msgId的生成因子是: ip + 进程pid + MessageClientIDSetter.class.getClassLoader().hashCode() + time + counter(AtomicInteger自增变量）

最后调用bytes2string进行十六进制的移位和编码就产生了我们的msgId。

那我们来分析一下这个算法：

对于每个producer实例来说ip都是唯一的，所以不同producer生成的msgId是不会重复的。对于producer单个实例来说的区分因子是：time + counter。首先应用不重启的情况下msgId是保证唯一性的，应用重启了只要系统的时钟不变msgId也是唯一的。所以只要系统的时钟不回拨我们就可以保证msgId的全局唯一。

有人也许会说应用运行了一个月再进行重启msgId就会重复了。从生成算法上来说是的！但是MQ的message是有时效性的，有效期是72小时也就是3天。每天的凌晨4点rocketMQ会把过期的message清除掉。所以msgId也是保证全局唯一的。

offsetMsgId:

broker端生成的offsetMsgId就比较简单了，直接就是主机ip + 物理分区的offset，再调用UtilAll.bytes2string进行移位转码就完成了，是不是很简单粗爆？！

以上就是RocketMQ生成msgId和offsetMsgId的生成算法。

RocketMQ 介绍 msgId生成算法相关推荐

Cmpp MsgId 生成算法
最近做一个项目要实现CMPP网关,基于不重复造轮子的原则,查遍开源社区也没有找到相关开源代码. 实在没有办法逼着自己学习已经还给老师的计算机原理,废话不多说,直接贴代码. 信息标识,生成算法如下: 采 ...
Hilbert曲线简单介绍及生成算法
Hilbert曲线 Hilbert曲线是一种填充曲线,相似的填充曲线还包含Z曲线.格雷码等其它方法.Hilbert曲线根据自身空间填充曲线的特性,能够线性地贯穿二维或者更高维度每一个离散单元.而且只穿 ...
php hmacsha1计算,PHP HMAC_SHA1 算法生成算法签名
HMAC_SHA1(Hashed Message Authentication Code, Secure Hash Algorithm)是一种安全的基于加密hash函数和共享密钥的消息认证协议. 它可 ...
cutting stock 问题的列生成算法
本文以 cutting stock 问题为例,介绍列生成算法的数学模型. 1. 问题描述长板长度:10m 子板需求:2m: 100; 3m: 50; 5m: 20 - 优化目标:最小化,长板切割总数 ...
使用深度学习检测DGA（域名生成算法）——LSTM的输入数据本质上还是词袋模型...
from:http://www.freebuf.com/articles/network/139697.html DGA(域名生成算法)是一种利用随机字符来生成C&C域名,从而逃避域名黑名单检 ...
无需向量监督的矢量图生成算法，入选CVPR 2021 | 代码开源
说起图像生成算法,大家也许并不陌生. 不过,大多数算法都针对栅格图像,也就是位图,而不支持矢量图. 虽然也有一些生成矢量图形的算法,但是在监督训练中,又受限于矢量图数据集有限的质量和规模. 为此,来自 ...
实验三：实现一个大素数生成算法
一.实验内容掌进一步掌握大素数分解的一般原理和实现方法.能用间接方法实现大素数分解.用代码实现Solovay-Strassen素性测试法或Miller-Rabin素性测试法. 二.分实现一个大素数生 ...
matlab画梅花,基于Matlab图像素描生成算法究.doc
毕业文图像素描生成算法研究姓名院(系) 信息学院专业班级学号指导教师职称论文答辩日期年月日摘要分析比较图像处理提供参考.关键词: 目录 1 前言1 1.1 课题研究 ...
snowflake算法 php,Snowflake —— 分布式全局唯一 id 生成算法
简介 Snowflake 是 Twitter 提出一种的分布式唯一序列号生成算法,理论上单节点 1 毫秒可以生成 4096 个(每秒四百万个)唯一序列,这个序列是个 long 类型的数字,在数据库中的 ...

最新文章

热门文章