snappy格式解析

(Owed by: 春夜喜雨 http://blog.csdn.net/chunyexiyu 个人随笔)
参考：https://en.wikipedia.org/wiki/Snappy_(compression)

总述

snappy是google开源的一种压缩方法，用途和lz4比较接近，主要用于高速的压缩与解压。

snappy压缩后的串编码形如：

原始串长度（7bit有效位压缩整形）；
(1-N) 00类型串/01类型串/10类型串/11类型串：这几种类型一个接一个基于需要出现。

和lz不同的点是，snappy首先存了原始串长度，然后才是压缩后的数据内容；
这样方便解压时使用，解压时读取该原始长度，直接按照此分配内存大小长度，用于解压后的数据存放。

00/01/10/11串类型说明

snappy格式压缩串，首先是存了按照7bits存储的长度，然后就是4中类型的表达串了。

00/01/10/11类型串的说明如下：
首个字节的低两bits来标识，是属于其中哪个类型00/01/10/11，然后基于类型来解析后续的字节。
The remaining bytes in the stream are encoded using one of four element types. The element type is encoded in the lower two bits of the first byte (tag byte) of the element.

00-原始字符串literal类型：
低2位存的00；
高6位标识接下来的原始字符串映射长度的值(不存在0长度的，值位0时代表长度1）；
其中有几个值有特别的意义：
0b111100=60标识长度存在之后1字节中
0b111101=61标识长度存在之后2字节中
0b111110=62标识长度存下之后3字节中
0b111111=63标识长度存在之后4字节中
例如：0b10000000 代表原始字符串长度为 32+1=33长度；
例如：0b11110000 0b10000000，代表原始字符串长度为128+1=129;
注意：解完长度之后，需要把跟着的解出字节长度字符读到输出中，这个类型才算解完。
00 – Literal – uncompressed data; upper 6 bits are used to store length (len-1) of data. Lengths larger than 60 are stored in a 1-4 byte integer indicated by a 6 bit length of 60 (1 byte) to 63 (4 bytes).

01-从已有数据copy：描述信息带后面1字节
低2位存01；
挨着3位存copy长度，copy长度从4开始；
另外3位和下一个字节一块作为偏移值。
例如：0b00010001 0b10000000代表，0b010=2，长度为2+4=6，0b000 100000000 = 128，偏移值为-128
01 – Copy with length stored as 3 bits and offset stored as 11 bits; one byte after tag byte is used for part of offset;

10-从已有数据copy：描述信息带后面2字节
低2位存10；
其它6位存copy长度，copy长度从4开始；
接下来二个字节存偏移值。
例如：0b10000010 0b00000001 0b00000000 0b100000=32，长度为32+4=36，0x100 = 256，偏移为-256
10 – Copy with length stored as 6 bits of tag byte and offset stored as two-byte integer after the tag byte;

11-从已有数据copy：描述信息带后面3字节
低2位存11；
同10一样，其它6位存copy长度，copy长度从4开始；；
接下来三个字节存偏移值。
例如：0b10000011 0b00000001 0b00000000 0b00000000，长度为32+4=36，0x100000 = 65536，偏移为-65536
11 – Copy with length stored as 6 bits of tag byte and offset stored as four-byte little-endian integer after the tag byte;

解压样例

下面是一个字符串压缩后的解压样例；

原始串：
长度-112
内容

Snappy encoding is not bit-oriented, but byte-oriented (only whole bytes are emitted or consumed from a stream).

压缩后串：
长度-108
内容

0x0000021CB4585340  70 b0 53 6e 61 70 70 79 20 65 6e 63 6f 64 69 6e  p?Snappy encodin
0x0000021CB4585350  67 20 69 73 20 6e 6f 74 20 62 69 74 2d 6f 72 69  g is not bit-ori
0x0000021CB4585360  65 6e 74 65 64 2c 20 62 75 74 20 62 79 74 65 15  ented, but byte.
0x0000021CB4585370  13 e4 20 28 6f 6e 6c 79 20 77 68 6f 6c 65 20 62  .? (only whole b
0x0000021CB4585380  79 74 65 73 20 61 72 65 20 65 6d 69 74 74 65 64  ytes are emitted
0x0000021CB4585390  20 6f 72 20 63 6f 6e 73 75 6d 65 64 20 66 72 6f   or consumed fro
0x0000021CB45853A0  6d 20 61 20 73 74 72 65 61 6d 29 2e 00 00 00 00  m a stream).....

压缩串逐字节解码：

0x70 - 112，标识源字符串长度112
0xb0 - 0b10110000 (00)-Literal, 101100=32+8+4=44长度，+1=45长度
原始串-45字节，copy到输出中
0x53 6e 61 70 70 79 20 65 6e 63 6f 64 69 6e
0x67 20 69 73 20 6e 6f 74 20 62 69 74 2d 6f 72 69
0x65 6e 74 65 64 2c 20 62 75 74 20 62 79 74 65
0x15-0b00010101 (01)-3bits-len,11bits-offset, len=0b101+4=9（从4开始）
0x13-0b00010011 offset=0b00010011 = 19，
offset=19回退到-oriented之前，长度使用9，把对应9字节copy到输出中
e4 - 0b11100100 (00)-literal, 111001=32+16+8+1=57，+1=58长度
原始串-58字节，copy到输出中
0x20 28 6f 6e 6c 79 20 77 68 6f 6c 65 20 62
0x79 74 65 73 20 61 72 65 20 65 6d 69 74 74 65 64
0x20 6f 72 20 63 6f 6e 73 75 6d 65 64 20 66 72 6f
0x6d 20 61 20 73 74 72 65 61 6d 29 2e

经过上述操作后，就把压缩后的字符串还原输出了原始字符串；

(Owed by: 春夜喜雨 http://blog.csdn.net/chunyexiyu 个人随笔)