rocksdb原理_手摸手学习 RocksDB 的 Write Buffer Manager

本文翻译自 RocksDB 官方 Wiki《Write Buffer Manager》：

https://github.com/facebook/rocksdb/wiki/Write-Buffer-Manager

翻译者：fanrui

Write buffer manager 帮助用户控制多个 column family 和 DB 实例的 MemTable 内存消耗。通过 Write Buffer Manager，用户可以实现：

尝试将多个 Column Family 和 DB 的 MemTable 总内存限制在一个阈值以下。
允许 MemTable 使用 Block Cache 的内存

Write buffer manager 的使用与 rate_limiter 和 sst_file_manager 类似。用户可以创建一个 write buffer manager 对象，并将其传递给你希望由该对象控制 MemTable 大小的 Column Family 或 DB 选项。看 write_buffer_manager.h 的代码注释可以看到如何使用。

限制 MemTable 的总内存

创建 write buffer manager 对象时可以给出内存限制。RocksDB 将会尽量控制总的使用内存在限制以下。

在 5.6 及其之后的版本，如果可变的 MemTable 的总大小超过了内存限制的 90%，那么 RocksDB 的相应 Column Family 就会触发 flush。如果实际的内存使用超过了限制，即使可变的 MemTable 使用的内存低于 90%，也会非常积极地触发 flush。在 5.6 版本之前，如果可变的 MemTable 大小超过了限制，则会触发 flush。

在 5.6 及其之后的版本，所有被 write buffer manager 管理的内存都会被计算在内，不仅仅是 MemTable 的内存使用。5.6 之前的版本，内存的计算仅仅按照 MemTable 的实际使用来计算的。

MemTable 使用 Block Cache 的内存

从 5.6 版本之后，用户可以配置 MemTable 使用 Block Cache 的内存。这个配置不管是否开启了 MemTable 内存的限制。

大多数情况，Block Cache 中 MemTable 相比 data block 仅仅占比较小的比例。所以当用户开启这个功能，Block Cache 的容量将会包含所有 Block Cache 和 MemTable 的内存使用。如果用户启用 cache_index_and_filter_blocks，那么 RocksDB 中三个主要的内存使用都会被单个上限进行限制。

下面是实现原理：每次分配给 MemTable 1MB 的内存，WriteBufferManager 将会放 1MB 的虚拟项到 Block Cache 中，这样 Block Cache 就可以知道实际的使用大小，从而淘汰 Block 来获取内存空间。对于 MemTable 内存使用减少的情况，WriteBufferManager 并不会立即删除这些虚拟项，而是在内存使用量显著降低时再缓慢地删除这些虚拟项。这是因为 MemTable 的内存总是在自然地上下浮动，因此我们尝试减少对 Block Cache 的干扰。

通过以下方式开启这个功能：

将 Block Cache 传递给即将使用的 WriteBufferManager
将 MemTable 期望使用的最大内存传递给 WriteBufferManager
设置 Block Cache 的容量为 data block 缓存和 MemTable 的总大小