leveldb的sstable-ldb解析

(Owed by: 春夜喜雨 http://blog.csdn.net/chunyexiyu)

leveldb数据库的sstable-ldb文件解析。

引言

ldb文件作为sorted-string-table，是一个自成体系的单数据库文件，自身就包含了排序索引信息，以及相应的key，value信息；
基于该文件结构可以快速检索到查询的key数据，获取相关value数据。

ldb的解析过程，通常情况，不涉及定制compare与指定filter的情况下，涉及的过程为：
解析Footer–>解析index block->解析data block.
解析Footer–>通过metablock指向解析可选filter block

下面尝试解析一个只有一条数据的ldb文件：
(文档最后来揭晓放入的该条KV值)

$ xxd 000005.ldb
00000000: 0010 1030 3030 3030 3030 3001 0100 0000  ...00000000.....
00000010: 0000 0061 6161 6161 6161 6161 6161 6161  ...aaaaaaaaaaaaa
00000020: 6161 6100 0000 0001 0000 0000 59f3 a005  aaa.........Y...
00000030: 0000 0000 0100 0000 00c0 f2a1 b000 0902  ................
00000040: 3101 ffff ffff ffff ff00 2b00 0000 0001  1.........+.....
00000050: 0000 0000 099d d7b9 3008 3d16 0000 0000  ........0.=.....
00000060: 0000 0000 0000 0000 0000 0000 0000 0000  ................
00000070: 0000 0000 0000 0000 0000 0000 0000 0000  ................
00000080: 57fb 808b 2475 47db                      W...$uG.

1. footer

对于Footer内容，ldb文件的后48字节是Footer，也就是ldb解析时最早解析的内容：

$ xxd -u -s -48 000005.ldb
00000058: 3008 3D16 0000 0000 0000 0000 0000 0000  0.=.............
00000068: 0000 0000 0000 0000 0000 0000 0000 0000  ................
00000078: 0000 0000 0000 0000 57FB 808B 2475 47DB  ........W...$uG.

Footer内容读取

Footer-48位中，最后8字节是magic-number，是固定值，要求对应
unsigned char magic[8] = {0x57, 0xFB, 0x80, 0x8B, 0x24, 0x75, 0x47, 0xDB};
Footer-48位中，前40位打包了两个BlockHandle，每个handle存两个64位的unsigned类型
uint64_t metaIndex.offset, metaIndex.size;
uint64_t index.offset, index.size;
使用的7bits变长方式存储的，所以实际使用长度通常都是远小于40字节的，每个字节开头字母小于8的，是结束符。
Footer码流样例前40个字节解析：
footer: magic number 57FB 808B 2475 47DB
footer: meta.offset-0x30, meta.size-0x08, index.offset-0x3D, index.size-0x16
(十进制: meta.offset-48, meta.size-8, index.offset-61, index.size-22)

2. Index Block内容读取校验

block存储到文件内容：block.size + trailer(5字节)代表block存储到文件的总内容；
基于上面的头信息获取到的index.offset，index.size值截取码流

$ xxd -u -s 61 -l 27 000005.ldb
0000003d: 0009 0231 01FF FFFF FFFF FFFF 002B 0000  ...1.........+..
0000004d: 0000 0100 0000 0009 9DD7 B9              ...........

Trailer: 码流0x00 09 9D D7 B9
trailer[0]：trailer里面的第一个字节，存储了是否采用压缩，采用何种压缩；有压缩时，后续使用block内容时就要解压缩了。
trailer[1-4]：trailer里面的后4个字节，存储了block.size+trailter[0]的crc校验码；ReadOption中的参数决定了是否校验一下。
Block:
- block[size-4, size): 存储numRestarts，码流0x01 00 00 00，numRestarts值为1
- block[size-numRestarts*4-4, size-4)：存储restart offset array. 码流0x00 00 00 00，restart offset值为0.
- block[0, size-numRestarts*4-4)：存储Entries(key/value)值，下面是一个Entry解析
Entry: (key<128位时)
- entry[0]-key shared length
- entry[1]-key none shared length
- entry[2]-value length
- entry[3, 3+entry[1]+entry[2])-none shared key, value
  entry-key: 存的是block最后一个键值
  entry-value: 存的是block的handle，也就是存了block.offset, block.size，同样是使用7bits变长存储的
- indexblock样例解析结果：
  index block: compress-0, crc-0xB9D79D09, restartnums-1
  index block: restart0, shared-0, nonshared-9, valuelen-2, key-0x31 01 FF FF FF FF FF FF FF , value=0x00 2B
  value解析：bock.offset=0x00, block.size=0x2B

3. data block内容读取

通过index block的entry-value，锁定了data block的offset和size，这样就能基于此来读取datablock了。
data block的结构与index block结构一致，也是先读trailer，然后读取numRestarts，然后是Entry，不过这次Entry-value存的[(key,value)…]块。

datablock码流样例：
bock.offset=0x00, block.size=0x2B，尾部trailer长度5，长度共计43+5=48

$ xxd -u -s 0 -l 48 db1/000005.ldb
00000000: 0010 1030 3030 3030 3030 3001 0100 0000  ...00000000.....
00000010: 0000 0061 6161 6161 6161 6161 6161 6161  ...aaaaaaaaaaaaa
00000020: 6161 6100 0000 0001 0000 0000 59F3 A005  aaa.........Y...

下面是index-block指向的第一个datablock内容：
data block: offset, size-43, compress-0, crc-0x05a0f359, restartnums-1
data block: shared-0, nonshared-16, valuelen-16, key-0x30 30 30 30 30 30 30 30 01 01 00 00 00 00 00 00 , value=0x61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61

4. meta block解析

因为没有使用到filter，meta-block内容中，当前的内容指向为空
meta.offset-0x30, meta.size-0x08, 加上block-trailer的5个字节，共计使用13字节。

00000030: 0000 0000 0100 0000 00c0 f2a1 b0

Block:
+ block[4, 8): 存储numRestarts，码流0x01 00 00 00，numRestarts值为1
+ block[0, 4)：存储restart offset array. 码流0x00 00 00 00，restart offset值为0.

5. 从代码角度看写入次序

从上面可以看到基于尾部footer找出metablock/indexblock，然后再索引到datablock。
那实际写入时，是metablock在前，还是indexblock在前？
这块可以基于TableBuilder::Finish代码实现找出来。

SortedStringTable开始的DataBlock数据是：
{DataBlock+Tailer; DataBlock+Tailer; DataBlock+Tailer;…}

StringSortedTable之后的索引等尾部数据次序是：

有filter时：写入无压缩的FilterBlock+Tailer
写入MetaIndexBlock+Tailer
写入IndexBlock+Tailer
写入Footer

6. ldb放入的KV值

最后，公布这个000005.ldb中实际放入的KV值如下：

放入ldb的该条记录Key值为：‘00000000’ (8个’0’)
放入ldb的该条记录Value值为：‘aaaaaaaaaaaaaaaa’ (16个’a’)

(Owed by: 春夜喜雨 http://blog.csdn.net/chunyexiyu)