源码分析 RocketMQ DLedger 多副本存储实现，泛微网络java面试题

前言

俗话说“生于忧患，死于安乐”，其实大部分中年危机，就是在安乐中产生的。

有的人或许会反驳，“照你这么说，我还必须奋斗了，不奋斗就要死，难道选择安逸的生活就不对吗？我就没有选择自己生活方式的权利吗？”

说这句话的人其实有一些误解，误解就在于，安逸的生活并不等于不需要奋斗，这要看你的家底。

某聪如果说要选择安逸的生活，他可以很安逸，因为他有了安逸的资本，而大部分的你，并没有这个资本，你如果过早的选择了安逸的生活，那么结局往往会很悲惨，而你能做的，最多也就是让你的后代有选择安逸的资本。

而你，并没有这个选择的权利，所以，想要安逸的生活，就必须先奋斗！

而大部分中年危机，就是因为安逸之前的奋斗不足导致的。

public void updateCommittedIndex(long term, long committedIndex)

更新commitedIndex的值，为空实现，由具体的存储子类实现。

protected void updateLedgerEndIndexAndTerm()

更新 Leader 维护的 ledgerEndIndex 和 ledgerEndTerm 。

public void flush()

刷写，空方法，由具体子类实现。

public long truncate(DLedgerEntry entry, long leaderTerm, String leaderId)

删除日志，空方法，由具体子类实现。

public void startup()

启动存储管理器，空方法，由具体子类实现。

public void shutdown()

关闭存储管理器，空方法，由具体子类实现。

[](()1.2 DLedgerMemoryStore

Dledger 基于内存实现的日志存储。

[](()1.3 DLedgerMmapFileStore

基于文件内存映射机制的存储实现。其核心属性如下：

long ledgerBeginIndex = -1

日志的起始索引，默认为 -1。

l- ong ledgerEndIndex = -1

下一条日志下标，默认为 -1。

long committedIndex = -1

已提交的日志索引。

long ledgerEndTerm

当前最大的投票轮次。

DLedgerConfig dLedgerConfig

DLedger 的配置信息。

MemberState memberState

状态机。

MmapFileList dataFileList

日志文件(数据文件)的内存映射Queue。

MmapFileList indexFileList

索引文件的内存映射文件集合。（可对标 RocketMQ MappedFIleQueue )。

ThreadLocal< ByteBuffer> localIndexBuffer

本地线程变量，用来缓存索引ByteBuffer。

ThreadLocal< ByteBuffer> localEntryBuffer

本地线程变量，用来缓存数据索引ByteBuffer。

FlushDataService flushDataService

数据文件刷盘线程。

CleanSpaceService cleanSpaceService

清除过期日志文件线程。

boolean isDiskFull = false

磁盘是否已满。

long lastCheckPointTimeMs

上一次检测点（时间戳）。

AtomicBoolean hasLoaded

是否已经加载，主要用来避免重复加载(初始化)日志文件。

AtomicBoolean hasRecovered

是否已恢复。

[](()2、DLedger 存储对标 RocketMQ 存储

存储部分主要包含存储映射文件、消息存储格式、刷盘、文件加载与文件恢复、过期文件删除等，由于这些内容在 RocketMQ 存储部分都已详细介绍，故本文点到为止，其对应的参考映射如下：

在 RocketMQ 中使用 MappedFile 来表示一个物理文件，而在 DLedger 中使用 DefaultMmapFIle 来表示一个物理文件。

在 RocketMQ 中使用 MappedFile 来表示多个物理文件(逻辑上连续)，而在 DLedger 中则使用MmapFileList。

在 RocketMQ 中使用 DefaultMessageStore 来封装存储逻辑，而在 DLedger 中则使用DLedgerMmapFileStore来封装存储逻辑。

在 RocketMQ 中使用 Commitlog F l u s h C o m m i t L o g S e r v i c e 来实现 c o m m i t l o g 文件的刷盘，而在 D L e d g e r 中则使用 D L e d g e r M m a p F i l e S t o r e FlushCommitLogService 来实现 commitlog 文件的刷盘，而在 DLedger 中则使用DLedgerMmapFileStore FlushCommitLogService来实现commitlog文件的刷盘，而在DLedger中则使用DLedgerMmapFileStoreFlushDataService来实现文件刷盘。

在 RocketMQ 中使用 DefaultMessageStore C l e a n C o m m i t l o g S e r v i c e 来实现 c o m m i t l o g 过期文件的删除，而 D L e d g e r 中则使用 D L e d g e r M m a p F i l e S t o r e CleanCommitlogService 来实现 commitlog 过期文件的删除，而 DLedger 中则使用 DLedgerMmapFileStore CleanCommitlogService来实现commitlog过期文件的删除，而DLedger中则使用DLedgerMmapFileStoreCleanSpaceService来实现。

由于其实现原理相同，上述部分已经在《RocketMQ 技术内幕》第4章中详细剖析，故这里就不重复分析了。

[](()3、DLedger 数据存储格式

存储格式字段的含义如下：

magic

魔数，4字节。

size

《一线大厂Java面试真题解析+Java核心总结学习笔记+最新全套讲解视频+实战项目源码》开源

Java优秀开源项目：

ali1024.coding.net/public/P7/Java/git

Java核心架构进阶知识点

面试成功其实都是必然发生的事情，因为在此之前我做足了充分的准备工作，不单单是纯粹的刷题，更多的还会去刷一些Java核心架构进阶知识点，比如：JVM、高并发、多线程、缓存、Spring相关、分布式、微服务、RPC、网络、设计模式、MQ、Redis、MySQL、设计模式、负载均衡、算法、数据结构、kafka、ZK、集群等。而这些也全被整理浓缩到了一份pdf——《Java核心架构进阶知识点整理》，全部都是精华中的精华，本着共赢的心态，好东西自然也是要分享的

内容颇多，篇幅却有限，这就不在过多的介绍了，大家可根据以上截图自行脑补
中的精华，本着共赢的心态，好东西自然也是要分享的

[外链图片转存中…(img-CyaiZdSo-1649579559094)]

[外链图片转存中…(img-5zGpU16X-1649579559095)]

[外链图片转存中…(img-kmIxgkkx-1649579559096)]

内容颇多，篇幅却有限，这就不在过多的介绍了，大家可根据以上截图自行脑补