redis（2）--数据结构与对象
简单动态字符串
(SDS)simple dynamic string
定义
struct sdshdr {// 记录 buf 数组中**已使用**字节的数量
// 等于 SDS 所保存字符串的长度
int len;
// 记录 buf 数组中**未使用**字节的数量
int free;
// 字节数组，用于保存字符串
char buf[];
};
C字符串和SDS之间的区别
| C字符串 | SDS | 说明 |
|---|---|---|
| 获取字符串长度的复杂度为 O(N) | 获取字符串长度的复杂度为 O(1) | |
| API 是不安全的，可能会造成缓冲区溢出 | API 是安全的，不会造成缓冲区溢出 | C数组下标错误，指针错误等。 |
| 修改字符串长度 N 次必然需要执行 N 次内存重分配 | 修改字符串长度 N 次最多需要执行 N 次内存重分配 | 可以预分配多余空间，以便扩展。释放空间，通过len属性修改。 |
| 只能保存文本数据 | 可以保存文本或者二进制数据 | C字符串以\0作为结束符。 |
| 可以使用所有 <string.h> 库中的函数 | 可以使用一部分 <string.h> 库中的函数 |
空间预分配
空间预分配用于优化 SDS 的字符串增长操作： 当 SDS 的 API 对一个 SDS 进行修改， 并且需要对 SDS 进行空间扩展的时候， 程序不仅会为 SDS 分配修改所必须要的空间， 还会为 SDS 分配额外的未使用空间。
其中， 额外分配的未使用空间数量由以下公式决定：
- 如果对 SDS 进行修改之后， SDS 的长度（也即是 len 属性的值）将小于 1 MB ， 那么程序分配和 len 属性同样大小的未使用空间， 这时 SDS len 属性的值将和 free 属性的值相同。 举个例子， 如果进行修改之后， SDS 的 len 将变成 13 字节， 那么程序也会分配 13 字节的未使用空间， SDS 的 buf 数组的实际长度将变成 13 + 13 + 1 = 27 字节（额外的一字节用于保存空字符）。
- 如果对 SDS 进行修改之后， SDS 的长度将大于等于 1 MB ， 那么程序会分配 1 MB 的未使用空间。 举个例子， 如果进行修改之后， SDS 的 len 将变成 30 MB ， 那么程序会分配 1 MB 的未使用空间， SDS 的 buf 数组的实际长度将为 30 MB + 1 MB + 1 byte 。
通过空间预分配策略， Redis 可以减少连续执行字符串增长操作所需的内存重分配次数。
惰性释放空间
不直接释放空间，通过free、len变量来控制。
链表
参考数据结构：LinkList
字典
参考数据结构：HastTable
typedef struct dictht{dictEntry **table;
unsigned long size;
unsigned long sizemask;
unsinged long used;
} dictht;typedef struct dictEntry{void *key;union {void *val;unint64_tu64;int64_ts64;} v;struct dictEntry *next;
} dictEntry;typedef struct dict{dictType *type;void *privdata;dictht ht[2];int rehashidx;
}
Hash算法
当字典被用作数据库的底层实现， 或者哈希键的底层实现时， Redis 使用 MurmurHash2 算法来计算键的哈希值。
MurmurHash 算法最初由 Austin Appleby 于 2008 年发明， 这种算法的优点在于， 即使输入的键是有规律的， 算法仍能给出一个很好的随机分布性， 并且算法的计算速度也非常快。
MurmurHash 算法目前的最新版本为 MurmurHash3 ， 而 Redis 使用的是 MurmurHash2 ， 关于 MurmurHash 算法的更多信息可以参考该算法的主页： http://code.google.com/p/smhasher/ 。
解决键冲突
Redis 的哈希表使用链地址法（separate chaining）来解决键冲突： 每个哈希表节点都有一个 next 指针， 多个哈希表节点可以用 next 指针构成一个单向链表， 被分配到同一个索引上的多个节点可以用这个单向链表连接起来， 这就解决了键冲突的问题。
rehash
随着操作的不断执行， 哈希表保存的键值对会逐渐地增多或者减少， 为了让哈希表的负载因子（load factor）维持在一个合理的范围之内， 当哈希表保存的键值对数量太多或者太少时， 程序需要对哈希表的大小进行相应的扩展或者收缩。
扩展和收缩哈希表的工作可以通过执行 rehash （重新散列）操作来完成， Redis 对字典的哈希表执行 rehash 的步骤如下：
1、为字典的 ht[1] 哈希表分配空间， 这个哈希表的空间大小取决于要执行的操作， 以及 ht[0] 当前包含的键值对数量 （也即是 ht[0].used 属性的值）：
- 如果执行的是扩展操作， 那么 ht[1] 的大小为第一个大于等于 ht[0].used * 2 的 2^n （2 的 n 次方幂）；
- 如果执行的是收缩操作， 那么 ht[1] 的大小为**第一个大于等于 ht[0].used 的 2^**n 。
2、将保存在 ht[0] 中的所有键值对 rehash 到 ht[1] 上面： rehash 指的是重新计算键的哈希值和索引值， 然后将键值对放置到 ht[1] 哈希表的指定位置上。
3、当 ht[0] 包含的所有键值对都迁移到了 ht[1] 之后 （ht[0] 变为空表）， 释放 ht[0] ， 将 ht[1] 设置为 ht[0] ， 并在 ht[1] 新创建一个空白哈希表， 为下一次 rehash 做准备。
为了避免 rehash 对服务器性能造成影响， 服务器不是一次性将 ht[0] 里面的所有键值对全部 rehash 到 ht[1] ， 而是分多次、渐进式地将 ht[0] 里面的键值对慢慢地 rehash 到 ht[1] 。
跳表
参考数据结构：SkipList
整数集合
整数集合（intset）是 Redis 用于保存整数值的集合抽象数据结构， 它可以保存类型为 int16_t 、 int32_t 或者 int64_t 的整数值， 并且保证集合中不会出现重复元素。
typedef struct intset {// 编码方式
uint32_t **encoding**;
// 集合包含的元素数量
uint32_t length;
// 保存元素的数组
int8_t contents[];
} intset;
length 属性记录了整数集合包含的元素数量， 也即是 contents 数组的长度。
虽然 intset 结构将 contents 属性声明为 int8_t 类型的数组， 但实际上 contents 数组并不保存任何 int8_t 类型的值 —— contents 数组的真正类型取决于 encoding 属性的值：
- 如果 encoding 属性的值为 INTSET_ENC_INT16 ， 那么 contents 就是一个 int16_t 类型的数组， 数组里的每个项都是一个 int16_t 类型的整数值 （最小值为 -32,768 ，最大值为 32,767 ）。
- 如果 encoding 属性的值为 INTSET_ENC_INT32 ， 那么 contents 就是一个 int32_t 类型的数组， 数组里的每个项都是一个 int32_t 类型的整数值 （最小值为 -2,147,483,648 ，最大值为 2,147,483,647 ）。
- 如果 encoding 属性的值为 INTSET_ENC_INT64 ， 那么 contents 就是一个 int64_t 类型的数组， 数组里的每个项都是一个 int64_t 类型的整数值 （最小值为 -9,223,372,036,854,775,808 ，最大值为 9,223,372,036,854,775,807 ）。
升级
每当我们要将一个新元素添加到整数集合里面， 并且新元素的类型比整数集合现有所有元素的类型都要长时， 整数集合需要先进行升级（upgrade）， 然后才能将新元素添加到整数集合里面。
升级整数集合并添加新元素共分为三步进行：
1、根据新元素的类型， 扩展整数集合底层数组的空间大小， 并为新元素分配空间。
2、将底层数组现有的所有元素都转换成与新元素相同的类型， 并将类型转换后的元素放置到正确的位上， 而且在放置元素的过程中， 需要继续维持底层数组的有序性质不变。
3、将新元素添加到底层数组里面。
整数集合不支持降级操作， 一旦对数组进行了升级， 编码就会一直保持升级后的状态。
压缩列表
压缩列表是 Redis 为了节约内存而开发的， 由一系列特殊编码的连续内存块组成的顺序型（sequential）数据结构。
| 属性 | 类型 | 长度 | 用途 |
|---|---|---|---|
| zlbytes | uint32_t | 4 字节 | 记录整个压缩列表占用的内存字节数：在对压缩列表进行内存重分配， 或者计算 zlend 的位置时使用。 |
| zltail | uint32_t | 4 字节 | 记录压缩列表表尾节点距离压缩列表的起始地址有多少字节： 通过这个偏移量，程序无须遍历整个压缩列表就可以确定表尾节点的地址。 |
| zllen | uint16_t | 2 字节 | 记录了压缩列表包含的节点数量： 当这个属性的值小于 UINT16_MAX （65535）时， 这个属性的值就是压缩列表包含节点的数量； 当这个值等于 UINT16_MAX 时， 节点的真实数量需要遍历整个压缩列表才能计算得出。 |
| entryX | 列表节点 | 不定 | 压缩列表包含的各个节点，节点的长度由节点保存的内容决定。 |
| zlend | uint8_t | 1 字节 | 特殊值 0xFF （十进制 255 ），用于标记压缩列表的末端。 |
压缩列表节点的构成
每个压缩列表节点可以保存一个字节数组或者一个整数值， 其中， 字节数组可以是以下三种长度的其中一种：
- 长度小于等于 63 （2^{6}-1）字节的字节数组；
- 长度小于等于 16383 （2^{14}-1） 字节的字节数组；
- 长度小于等于 4294967295 （2^{32}-1）字节的字节数组；
而整数值则可以是以下六种长度的其中一种：
- 4 位长，介于 0 至 12 之间的无符号整数；
- 1 字节长的有符号整数；
- 3 字节长的有符号整数；
- int16_t 类型整数；
- int32_t 类型整数；
- int64_t 类型整数。
每个压缩列表节点都由 previous_entry_length 、 encoding 、 content 三个部分组成
encoding
表 7-2 字节数组编码
| 编码 | 编码长度 |
content 属性保存的值
|
|---|---|---|
00bbbbbb
|
1 字节
|
长度小于等于 63 字节的字节数组。
|
01bbbbbb xxxxxxxx
|
2 字节
|
长度小于等于 16383 字节的字节数组。
|
10______ aaaaaaaa bbbbbbbb cccccccc dddddddd
|
5 字节
|
长度小于等于 4294967295 的字节数组。
|
表 7-3 整数编码
| 编码 | 编码长度 |
content 属性保存的值
|
|---|---|---|
11000000
|
1 字节
|
int16_t 类型的整数。
|
11010000
|
1 字节
|
int32_t 类型的整数。
|
11100000
|
1 字节
|
int64_t 类型的整数。
|
11110000
|
1 字节
|
24 位有符号整数。
|
11111110
|
1 字节
|
8 位有符号整数。
|
1111xxxx
|
1 字节
|
使用这一编码的节点没有相应的 content 属性， 因为编码本身的 xxxx 四个位已经保存了一个介于 0 和 12 之间的值， 所以它无须 content 属性。
|
content
节点的 content 属性负责保存节点的值， 节点值可以是一个字节数组或者整数， 值的类型和长度由节点的 encoding 属性决定。
对象
对象的类型与编码
Redis 使用对象来表示数据库中的键和值， 每次当我们在 Redis 的数据库中新创建一个键值对时， 我们至少会创建两个对象， 一个对象用作键值对的键（键对象）， 另一个对象用作键值对的值（值对象）。
Redis 中的每个对象都由一个 redisObject 结构表示， 该结构中和保存数据有关的三个属性分别是 type 属性、 encoding 属性和 ptr 属性：
typedef struct redisObject {// 类型unsigned type:4;// 编码unsigned encoding:4;// 指向底层实现数据结构的指针void *ptr;// ... } robj;
类型
对象的 type 属性记录了对象的类型， 这个属性的值可以是表 8-1 列出的常量的其中一个
表 8-1 对象的类型
| 类型常量 | 对象的名称 |
|---|---|
REDIS_STRING
|
字符串对象 |
REDIS_LIST
|
列表对象 |
REDIS_HASH
|
哈希对象 |
REDIS_SET
|
集合对象 |
REDIS_ZSET
|
有序集合对象 |
对于 Redis 数据库保存的键值对来说， 键总是一个字符串对象， 而值则可以是字符串对象、列表对象、哈希对象、集合对象或者有序集合对象的其中一种， 因此：
- 当我们称呼一个数据库键为“字符串键”时， 我们指的是“这个数据库键所对应的值为字符串对象”；
- 当我们称呼一个键为“列表键”时， 我们指的是“这个数据库键所对应的值为列表对象”，
TYPE 命令时， 命令返回的结果为数据库键对应的值对象的类型
同类型值对象的 TYPE 命令输出
| 对象 |
对象 type 属性的值
|
TYPE 命令的输出 |
|---|---|---|
| 字符串对象 |
REDIS_STRING
|
"string"
|
| 列表对象 |
REDIS_LIST
|
"list"
|
| 哈希对象 |
REDIS_HASH
|
"hash"
|
| 集合对象 |
REDIS_SET
|
"set"
|
| 有序集合对象 |
REDIS_ZSET
|
"zset"
|
编码和底层实现
对象的 ptr 指针指向对象的底层实现数据结构， 而这些数据结构由对象的 encoding 属性决定。
encoding 属性记录了对象所使用的编码， 也即是说这个对象使用了什么数据结构作为对象的底层实现：
| 编码常量 | 编码所对应的底层数据结构 |
|---|---|
REDIS_ENCODING_INT
|
long 类型的整数
|
REDIS_ENCODING_EMBSTR
|
embstr 编码的简单动态字符串
|
REDIS_ENCODING_RAW
|
简单动态字符串 |
REDIS_ENCODING_HT
|
字典 |
REDIS_ENCODING_LINKEDLIST
|
双端链表 |
REDIS_ENCODING_ZIPLIST
|
压缩列表 |
REDIS_ENCODING_INTSET
|
整数集合 |
REDIS_ENCODING_SKIPLIST
|
跳跃表和字典 |
每种类型的对象都至少使用了两种不同的编码， 表 8-4 列出了每种类型的对象可以使用的编码。
| 类型 | 编码 | 对象 |
|---|---|---|
REDIS_STRING
|
REDIS_ENCODING_INT
|
使用整数值实现的字符串对象。 |
REDIS_STRING
|
REDIS_ENCODING_EMBSTR
|
使用 embstr 编码的简单动态字符串实现的字符串对象。
|
REDIS_STRING
|
REDIS_ENCODING_RAW
|
使用简单动态字符串实现的字符串对象。 |
REDIS_LIST
|
REDIS_ENCODING_ZIPLIST
|
使用压缩列表实现的列表对象。 |
REDIS_LIST
|
REDIS_ENCODING_LINKEDLIST
|
使用双端链表实现的列表对象。 |
REDIS_HASH
|
REDIS_ENCODING_ZIPLIST
|
使用压缩列表实现的哈希对象。 |
REDIS_HASH
|
REDIS_ENCODING_HT
|
使用字典实现的哈希对象。 |
REDIS_SET
|
REDIS_ENCODING_INTSET
|
使用整数集合实现的集合对象。 |
REDIS_SET
|
REDIS_ENCODING_HT
|
使用字典实现的集合对象。 |
REDIS_ZSET
|
REDIS_ENCODING_ZIPLIST
|
使用压缩列表实现的有序集合对象。 |
REDIS_ZSET
|
REDIS_ENCODING_SKIPLIST
|
使用跳跃表和字典实现的有序集合对象。 |
使用 OBJECT ENCODING 命令可以查看一个数据库键的值对象的编码：
OBJECT ENCODING 对不同编码的输出
| 对象所使用的底层数据结构 | 编码常量 | OBJECT ENCODING 命令输出 |
|---|---|---|
| 整数 |
REDIS_ENCODING_INT
|
"int"
|
embstr 编码的简单动态字符串（SDS）
|
REDIS_ENCODING_EMBSTR
|
"embstr"
|
| 简单动态字符串 |
REDIS_ENCODING_RAW
|
"raw"
|
| 字典 |
REDIS_ENCODING_HT
|
"hashtable"
|
| 双端链表 |
REDIS_ENCODING_LINKEDLIST
|
"linkedlist"
|
| 压缩列表 |
REDIS_ENCODING_ZIPLIST
|
"ziplist"
|
| 整数集合 |
REDIS_ENCODING_INTSET
|
"intset"
|
| 跳跃表和字典 |
REDIS_ENCODING_SKIPLIST
|
"skiplist"
|
字符串对象
字符串对象的编码可以是 int 、 raw 或者 embstr 。
如果一个字符串对象保存的是整数值， 并且这个整数值可以用 long 类型来表示， 那么字符串对象会将整数值保存在字符串对象结构的 ptr 属性里面（将 void* 转换成 long ）， 并将字符串对象的编码设置为 int
如果字符串对象保存的是一个字符串值， 并且这个字符串值的长度大于 39 字节， 那么字符串对象将使用一个简单动态字符串（SDS）来保存这个字符串值， 并将对象的编码设置为 raw 。
如果字符串对象保存的是一个字符串值， 并且这个字符串值的长度小于等于 39 字节， 那么字符串对象将使用 embstr 编码的方式来保存这个字符串值。
embstr 编码是专门用于保存短字符串的一种优化编码方式， 这种编码和 raw 编码一样， 都使用 redisObject 结构和 sdshdr 结构来表示字符串对象， 但 raw 编码会调用两次内存分配函数来分别创建 redisObject 结构和 sdshdr 结构， 而 embstr 编码则通过调用一次内存分配函数来分配一块连续的空间， 空间中依次包含 redisObject 和 sdshdr 两个结构
字符串对象保存各类型值的编码方式
| 值 | 编码 |
|---|---|
可以用 long 类型保存的整数。
|
int
|
可以用 long double 类型保存的浮点数。
|
embstr 或者 raw
|
字符串值， 或者因为长度太大而没办法用 long 类型表示的整数， 又或者因为长度太大而没办法用 long double 类型表示的浮点数。
|
embstr 或者 raw
|
编码的转换
int 编码的字符串对象和 embstr 编码的字符串对象在条件满足的情况下， 会被转换为 raw 编码的字符串对象。
对于 int 编码的字符串对象来说， 如果我们向对象执行了一些命令， 使得这个对象保存的不再是整数值， 而是一个字符串值， 那么字符串对象的编码将从 int 变为 raw 。
因为 Redis 没有为 embstr 编码的字符串对象编写任何相应的修改程序 （只有 int 编码的字符串对象和 raw 编码的字符串对象有这些程序）， 所以 embstr 编码的字符串对象实际上是只读的： 当我们对 embstr 编码的字符串对象执行任何修改命令时， 程序会先将对象的编码从 embstr 转换成 raw ， 然后再执行修改命令； 因为这个原因， embstr 编码的字符串对象在执行修改命令之后， 总会变成一个 raw 编码的字符串对象。
字符串命令的实现
| 命令 |
int 编码的实现方法
|
embstr 编码的实现方法
|
raw 编码的实现方法
|
|---|---|---|---|
| SET |
使用 int 编码保存值。
|
使用 embstr 编码保存值。
|
使用 raw 编码保存值。
|
| GET | 拷贝对象所保存的整数值， 将这个拷贝转换成字符串值， 然后向客户端返回这个字符串值。 | 直接向客户端返回字符串值。 | 直接向客户端返回字符串值。 |
| APPEND |
将对象转换成 raw 编码， 然后按 raw 编码的方式执行此操作。
|
将对象转换成 raw 编码， 然后按 raw 编码的方式执行此操作。
|
调用 sdscatlen 函数， 将给定字符串追加到现有字符串的末尾。
|
| INCRBYFLOAT |
取出整数值并将其转换成 long double 类型的浮点数， 对这个浮点数进行加法计算， 然后将得出的浮点数结果保存起来。
|
取出字符串值并尝试将其转换成 long double 类型的浮点数， 对这个浮点数进行加法计算， 然后将得出的浮点数结果保存起来。 如果字符串值不能被转换成浮点数， 那么向客户端返回一个错误。
|
取出字符串值并尝试将其转换成 long double 类型的浮点数， 对这个浮点数进行加法计算， 然后将得出的浮点数结果保存起来。 如果字符串值不能被转换成浮点数， 那么向客户端返回一个错误。
|
| INCRBY | 对整数值进行加法计算， 得出的计算结果会作为整数被保存起来。 |
embstr 编码不能执行此命令， 向客户端返回一个错误。
|
raw 编码不能执行此命令， 向客户端返回一个错误。
|
| DECRBY | 对整数值进行减法计算， 得出的计算结果会作为整数被保存起来。 |
embstr 编码不能执行此命令， 向客户端返回一个错误。
|
raw 编码不能执行此命令， 向客户端返回一个错误。
|
| STRLEN | 拷贝对象所保存的整数值， 将这个拷贝转换成字符串值， 计算并返回这个字符串值的长度。 |
调用 sdslen 函数， 返回字符串的长度。
|
调用 sdslen 函数， 返回字符串的长度。
|
| SETRANGE |
将对象转换成 raw 编码， 然后按 raw 编码的方式执行此命令。
|
将对象转换成 raw 编码， 然后按 raw 编码的方式执行此命令。
|
将字符串特定索引上的值设置为给定的字符。 |
| GETRANGE | 拷贝对象所保存的整数值， 将这个拷贝转换成字符串值， 然后取出并返回字符串指定索引上的字符。 | 直接取出并返回字符串指定索引上的字符。 | 直接取出并返回字符串指定索引上的字符。 |
列表对象
列表对象的编码可以是 ziplist 或者 linkedlist 。
编码转换
当列表对象可以同时满足以下两个条件时， 列表对象使用 ziplist 编码：
- 列表对象保存的所有字符串元素的长度都小于
64字节()； - 列表对象保存的元素数量小于
512个；
不能满足这两个条件的列表对象需要使用 linkedlist 编码。
以上两个条件的上限值是可以修改的， 具体请看配置文件中关于 list-max-ziplist-value 选项和 list-max-ziplist-entries 选项的说明。
列表命令的实现
| 命令 |
ziplist 编码的实现方法
|
linkedlist 编码的实现方法
|
|---|---|---|
| LPUSH |
调用 ziplistPush 函数， 将新元素推入到压缩列表的表头。
|
调用 listAddNodeHead 函数， 将新元素推入到双端链表的表头。
|
| RPUSH |
调用 ziplistPush 函数， 将新元素推入到压缩列表的表尾。
|
调用 listAddNodeTail 函数， 将新元素推入到双端链表的表尾。
|
| LPOP |
调用 ziplistIndex 函数定位压缩列表的表头节点， 在向用户返回节点所保存的元素之后， 调用 ziplistDelete 函数删除表头节点。
|
调用 listFirst 函数定位双端链表的表头节点， 在向用户返回节点所保存的元素之后， 调用 listDelNode 函数删除表头节点。
|
| RPOP |
调用 ziplistIndex 函数定位压缩列表的表尾节点， 在向用户返回节点所保存的元素之后， 调用 ziplistDelete 函数删除表尾节点。
|
调用 listLast 函数定位双端链表的表尾节点， 在向用户返回节点所保存的元素之后， 调用 listDelNode 函数删除表尾节点。
|
| LINDEX |
调用 ziplistIndex 函数定位压缩列表中的指定节点， 然后返回节点所保存的元素。
|
调用 listIndex 函数定位双端链表中的指定节点， 然后返回节点所保存的元素。
|
| LLEN |
调用 ziplistLen 函数返回压缩列表的长度。
|
调用 listLength 函数返回双端链表的长度。
|
| LINSERT |
插入新节点到压缩列表的表头或者表尾时， 使用 ziplistPush 函数； 插入新节点到压缩列表的其他位置时， 使用 ziplistInsert 函数。
|
调用 listInsertNode 函数， 将新节点插入到双端链表的指定位置。
|
| LREM |
遍历压缩列表节点， 并调用 ziplistDelete 函数删除包含了给定元素的节点。
|
遍历双端链表节点， 并调用 listDelNode 函数删除包含了给定元素的节点。
|
| LTRIM |
调用 ziplistDeleteRange 函数， 删除压缩列表中所有不在指定索引范围内的节点。
|
遍历双端链表节点， 并调用 listDelNode 函数删除链表中所有不在指定索引范围内的节点。
|
| LSET |
调用 ziplistDelete 函数， 先删除压缩列表指定索引上的现有节点， 然后调用 ziplistInsert 函数， 将一个包含给定元素的新节点插入到相同索引上面。
|
调用 listIndex 函数， 定位到双端链表指定索引上的节点， 然后通过赋值操作更新节点的值。
|
哈希对象
哈希对象的编码可以是 ziplist 或者 hashtable 。
ziplist 编码的哈希对象使用压缩列表作为底层实现， 每当有新的键值对要加入到哈希对象时， 程序会先将保存了键的压缩列表节点推入到压缩列表表尾， 然后再将保存了值的压缩列表节点推入到压缩列表表尾， 因此：
- 保存了同一键值对的两个节点总是紧挨在一起， 保存键的节点在前， 保存值的节点在后；
- 先添加到哈希对象中的键值对会被放在压缩列表的表头方向， 而后来添加到哈希对象中的键值对会被放在压缩列表的表尾方向。
编码转换
当哈希对象可以同时满足以下两个条件时， 哈希对象使用 ziplist 编码：
- 哈希对象保存的所有键值对的键和值的字符串长度都小于
64字节； - 哈希对象保存的键值对数量小于
512个；
这两个条件的上限值是可以修改的， 具体请看配置文件中关于 hash-max-ziplist-value 选项和 hash-max-ziplist-entries 选项的说明。
哈希命令的实现
| 命令 |
ziplist 编码实现方法
|
hashtable 编码的实现方法
|
|---|---|---|
| HSET |
首先调用 ziplistPush 函数， 将键推入到压缩列表的表尾， 然后再次调用 ziplistPush 函数， 将值推入到压缩列表的表尾。
|
调用 dictAdd 函数， 将新节点添加到字典里面。
|
| HGET |
首先调用 ziplistFind 函数， 在压缩列表中查找指定键所对应的节点， 然后调用 ziplistNext 函数， 将指针移动到键节点旁边的值节点， 最后返回值节点。
|
调用 dictFind 函数， 在字典中查找给定键， 然后调用 dictGetVal 函数， 返回该键所对应的值。
|
| HEXISTS |
调用 ziplistFind 函数， 在压缩列表中查找指定键所对应的节点， 如果找到的话说明键值对存在， 没找到的话就说明键值对不存在。
|
调用 dictFind 函数， 在字典中查找给定键， 如果找到的话说明键值对存在， 没找到的话就说明键值对不存在。
|
| HDEL |
调用 ziplistFind 函数， 在压缩列表中查找指定键所对应的节点， 然后将相应的键节点、 以及键节点旁边的值节点都删除掉。
|
调用 dictDelete 函数， 将指定键所对应的键值对从字典中删除掉。
|
| HLEN |
调用 ziplistLen 函数， 取得压缩列表包含节点的总数量， 将这个数量除以 2 ， 得出的结果就是压缩列表保存的键值对的数量。
|
调用 dictSize 函数， 返回字典包含的键值对数量， 这个数量就是哈希对象包含的键值对数量。
|
| HGETALL |
遍历整个压缩列表， 用 ziplistGet 函数返回所有键和值（都是节点）。
|
遍历整个字典， 用 dictGetKey 函数返回字典的键， 用 dictGetVal 函数返回字典的值。
|
集合对象
集合对象的编码可以是 intset 或者 hashtable 。
编码的转换
当集合对象可以同时满足以下两个条件时， 对象使用 intset 编码：
- 集合对象保存的所有元素都是整数值；
- 集合对象保存的元素数量不超过
512个；
第二个条件的上限值是可以修改的， 具体请看配置文件中关于 set-max-intset-entries 选项的说明。
集合命令的实现
| 命令 |
intset 编码的实现方法
|
hashtable 编码的实现方法
|
|---|---|---|
| SADD |
调用 intsetAdd 函数， 将所有新元素添加到整数集合里面。
|
调用 dictAdd ， 以新元素为键， NULL 为值， 将键值对添加到字典里面。
|
| SCARD |
调用 intsetLen 函数， 返回整数集合所包含的元素数量， 这个数量就是集合对象所包含的元素数量。
|
调用 dictSize 函数， 返回字典所包含的键值对数量， 这个数量就是集合对象所包含的元素数量。
|
| SISMEMBER |
调用 intsetFind 函数， 在整数集合中查找给定的元素， 如果找到了说明元素存在于集合， 没找到则说明元素不存在于集合。
|
调用 dictFind 函数， 在字典的键中查找给定的元素， 如果找到了说明元素存在于集合， 没找到则说明元素不存在于集合。
|
| SMEMBERS |
遍历整个整数集合， 使用 intsetGet 函数返回集合元素。
|
遍历整个字典， 使用 dictGetKey 函数返回字典的键作为集合元素。
|
| SRANDMEMBER |
调用 intsetRandom 函数， 从整数集合中随机返回一个元素。
|
调用 dictGetRandomKey 函数， 从字典中随机返回一个字典键。
|
| SPOP |
调用 intsetRandom 函数， 从整数集合中随机取出一个元素， 在将这个随机元素返回给客户端之后， 调用 intsetRemove 函数， 将随机元素从整数集合中删除掉。
|
调用 dictGetRandomKey 函数， 从字典中随机取出一个字典键， 在将这个随机字典键的值返回给客户端之后， 调用 dictDelete 函数， 从字典中删除随机字典键所对应的键值对。
|
| SREM |
调用 intsetRemove 函数， 从整数集合中删除所有给定的元素。
|
调用 dictDelete 函数， 从字典中删除所有键为给定元素的键值对。
|
有序集合对象
有序集合的编码可以是 ziplist 或者 skiplist 。
ziplist 编码的有序集合对象使用压缩列表作为底层实现， 每个集合元素使用两个紧挨在一起的压缩列表节点来保存， 第一个节点保存元素的成员（member）， 而第二个元素则保存元素的分值（score）。
skiplist 编码的有序集合对象使用 zset 结构作为底层实现， 一个 zset 结构同时包含一个字典和一个跳跃表：
typedef struct zset {zskiplist *zsl;dict *dict; } zset;
zset 结构中的 zsl 跳跃表按分值从小到大保存了所有集合元素， 每个跳跃表节点都保存了一个集合元素： 跳跃表节点的 object 属性保存了元素的成员， 而跳跃表节点的 score 属性则保存了元素的分值。 通过这个跳跃表， 程序可以对有序集合进行范围型操作， 比如 ZRANK 、 ZRANGE 等命令就是基于跳跃表 API 来实现的。
除此之外， zset 结构中的 dict 字典为有序集合创建了一个从成员到分值的映射， 字典中的每个键值对都保存了一个集合元素： 字典的键保存了元素的成员， 而字典的值则保存了元素的分值。 通过这个字典， 程序可以用 O(1) 复杂度查找给定成员的分值， ZSCORE 命令就是根据这一特性实现的， 而很多其他有序集合命令都在实现的内部用到了这一特性。
有序集合每个元素的成员都是一个字符串对象， 而每个元素的分值都是一个 double 类型的浮点数。 值得一提的是， 虽然 zset 结构同时使用跳跃表和字典来保存有序集合元素， 但这两种数据结构都会通过指针来共享相同元素的成员和分值， 所以同时使用跳跃表和字典来保存集合元素不会产生任何重复成员或者分值， 也不会因此而浪费额外的内存。
为了展示方便， 图 8-17 在字典和跳跃表中重复展示了各个元素的成员和分值， 但在实际中， 字典和跳跃表会共享元素的成员和分值， 所以并不会造成任何数据重复， 也不会因此而浪费任何内存。
编码的转换
当有序集合对象可以同时满足以下两个条件时， 对象使用 ziplist 编码：
- 有序集合保存的元素数量小于
128个； - 有序集合保存的所有元素成员的长度都小于
64字节；
有序集合命令的实现
| 命令 |
ziplist 编码的实现方法
|
zset 编码的实现方法
|
|---|---|---|
| ZADD |
调用 ziplistInsert 函数， 将成员和分值作为两个节点分别插入到压缩列表。
|
先调用 zslInsert 函数， 将新元素添加到跳跃表， 然后调用 dictAdd 函数， 将新元素关联到字典。
|
| ZCARD |
调用 ziplistLen 函数， 获得压缩列表包含节点的数量， 将这个数量除以 2 得出集合元素的数量。
|
访问跳跃表数据结构的 length 属性， 直接返回集合元素的数量。
|
| ZCOUNT | 遍历压缩列表， 统计分值在给定范围内的节点的数量。 | 遍历跳跃表， 统计分值在给定范围内的节点的数量。 |
| ZRANGE | 从表头向表尾遍历压缩列表， 返回给定索引范围内的所有元素。 | 从表头向表尾遍历跳跃表， 返回给定索引范围内的所有元素。 |
| ZREVRANGE | 从表尾向表头遍历压缩列表， 返回给定索引范围内的所有元素。 | 从表尾向表头遍历跳跃表， 返回给定索引范围内的所有元素。 |
| ZRANK | 从表头向表尾遍历压缩列表， 查找给定的成员， 沿途记录经过节点的数量， 当找到给定成员之后， 途经节点的数量就是该成员所对应元素的排名。 | 从表头向表尾遍历跳跃表， 查找给定的成员， 沿途记录经过节点的数量， 当找到给定成员之后， 途经节点的数量就是该成员所对应元素的排名。 |
| ZREVRANK | 从表尾向表头遍历压缩列表， 查找给定的成员， 沿途记录经过节点的数量， 当找到给定成员之后， 途经节点的数量就是该成员所对应元素的排名。 | 从表尾向表头遍历跳跃表， 查找给定的成员， 沿途记录经过节点的数量， 当找到给定成员之后， 途经节点的数量就是该成员所对应元素的排名。 |
| ZREM | 遍历压缩列表， 删除所有包含给定成员的节点， 以及被删除成员节点旁边的分值节点。 | 遍历跳跃表， 删除所有包含了给定成员的跳跃表节点。 并在字典中解除被删除元素的成员和分值的关联。 |
| ZSCORE | 遍历压缩列表， 查找包含了给定成员的节点， 然后取出成员节点旁边的分值节点保存的元素分值。 | 直接从字典中取出给定成员的分值。 |
redis（2）--数据结构与对象相关推荐
- 十二张图带你了解 Redis 的数据结构和对象系统
来自公众号:程序员历小冰 Redis是一个开源的 key-value 存储系统,它使用六种底层数据结构构建了包含字符串对象.列表对象.哈希对象.集合对象和有序集合对象的对象系统.今天我们就通过12张图 ...
- 十二张图详解Redis的数据结构和对象系统
回顾:大数据平台技术栈 (ps:可点击查看),今天就来说说其中的Redis! 本文来自:张狗蛋的技术之路 Redis是一个开源的 key-value 存储系统,它使用六种底层数据结构构建了包含字符串对 ...
- Redis 的数据结构和对象系统 侵立删
Redis是一个开源的 key-value 存储系统,它使用六种底层数据结构构建了包含字符串对象.列表对象.哈希对象.集合对象和有序集合对象的对象系统.今天我们就通过12张图来全面了解一下它的数据结构 ...
- redis之数据结构与对象篇（终章）
欢迎阅读大魔王的睡前私语系列,这是Redis第四篇文章 压缩列表 压缩列表是列表键和哈希键的底层实现之一.当一个列表键只包含少量列表项,并且每个列表项要么是小整数值,要么是长度比较短的字符串,那么Re ...
- redis 基础数据结构实现
参考文献 redis数据结构分析 Skip List(跳跃表)原理详解 redis 源码分析之内存布局 Redis 基础数据结构与对象 Redis设计与实现-第7章-压缩列表 在redis中构建了自己 ...
- 将一个键值对添加入一个对象_细品Redis高性能数据结构之hash对象
背景 上一节讲Redis的高性能字符串结构SDS,今天我们来看一下redis的hash对象. Hash对象 简介 redis的hash对象有两种编码(底层实现)方式,字典编码和压缩列表编码.在使用字典 ...
- startindex 不能大于字符串长度_玩转云端丨redis的5种对象与8种数据结构之字符串对象（下）...
引言 本文是对<redis设计与实现(第二版)>中数据结构与对象相关内容的整理与说明.本篇文章只对对象结构,1种对象--字符串对象.以及字符串对象所对应的两种编码--raw和embstr, ...
- 【Redis-09】面试题之Redis数据结构与对象-RedisObject（下篇）
承接上篇[Redis-08]面试题之Redis数据结构与对象-RedisObject(上篇) 8. type-字符串string 8.1 字符串的三种encoding编码(int + embstr ...
- Redis的数据结构及应用场景
2019独角兽企业重金招聘Python工程师标准>>> 一. 谈谈对redis的理解,它的应用场景. Redis是一个key-value存储系统,它支持存储的value类型包括str ...
最新文章
- php5.6.14,PHP 5.5.30/5.6.14 发布下载，安全修复版本
- Angular jasmine returnValue方法的实现原理
- 韦东山 IMX6ULL和正点原子_GPIO和Pinctrl子系统的使用在100ASK_IMX6ULL上机实验
- yum 安装apache php mysql
- 复制过去格式不一样_不一样的立春节气：一个新的轮回开启，万物更新，疫情终将过去...
- Cocoa Touch事件处理流程--响应者链
- Windows下载安装kafka
- 【干货】大学本科生零基础如何开始做发明类竞赛项目
- 计算机考研408难吗？学到什么程度才能考130?
- 视频格式怎么转换成mp4？
- shineblink MQ-3酒精浓度探测
- FPGA控制DDR读写（AXI4总线接口）
- python爬虫遇见needs to review the security of your connection before proceeding绕过 Cloudflare
- 让你的桌面腾飞吧（OpenSolaris2008.05 + VirtualBox + WinXP）
- 【视频制作】PR如何制作追踪马赛克
- 1521端口已被占用解决方案
- 斯坦福大学(吴恩达) 机器学习课后习题详解 第三周 正则化
- 福禄克FLUKE DTX-1800和DSX2-8000系列电缆认证分析仪如何导出测试报告？
- CLUENER 细粒度命名实体识别baseline：BiLSTM-CRF
- 一个简单的Arm开发板的制作过程