今天看看作为内存数据库,Redis 是怎么存储数据的以及键是怎么过期的。

阅读这篇文章你将会了解到:

  • Redis 的数据库实现
  • Redis 键过期的策略

数据库的实现

我们先看代码 server.h/redisServer

struct redisServer{ ... //保存 db 的数组 redisDb *db;  //db 的数量 int dbnum; ...}

再看redisDb的代码:

typedef struct redisDb { dict *dict; /* The keyspace for this DB */ dict *expires; /* Timeout of keys with a timeout set */ dict *blocking_keys; /* Keys with clients waiting for data (BLPOP)*/ dict *ready_keys; /* Blocked keys that received a PUSH */ dict *watched_keys; /* WATCHED keys for MULTI/EXEC CAS */ int id; /* Database ID */ long long avg_ttl; /* Average TTL, just for stats */} redisDb;

总体来说redis的 server 包含若干个(默认16个) redisDb 数据库。

Redis 是一个 k-v 存储的键值对数据库。其中字典 dict 保存了数据库中的所有键值对,这个地方叫做 keyspace 直译过来就是“键空间”。

所以我们就可以这么认为,在 redisDb 中我们使用 dict(字典)来维护键空间。

  • keyspace 的 kay 是数据库的 key,每一个key 是一个字符串对象。注意不是字符串,而是字符串对象。
  • keyspace 的 value 是数据库的 value,这个 value 可以是 redis 的,字符串对象,列表对象,哈希表对象,集合对象或者有序对象中的一种。

数据库读写操作

所以对于数据的增删改查,就是对 keyspace 这个大 map 的增删改查。

当我们执行:

>redis SET mobile "13800000000"

实际上就是为 keyspace 增加了一个 key 是包含字符串“mobile”的字符串对象,value 为包含字符“13800000000”的字符串对象。

看图:

对于删改查,没啥好说的。类似java 的 map 操作,大多数程序员应该都能理解。

需要特别注意的是,再执行对键的读写操作的时候,Redis 还要做一些额外的维护动作:

  • 维护 hit 和 miss 两个计数器。用于统计 Redis 的缓存命中率。
  • 更新键的 LRU 时间,记录键的最后活跃时间。
  • 如果在读取的时候发现键已经过期,Redis 先删除这个过期的键然后再执行余下操作。
  • 如果有客户对这个键执行了 WATCH 操作,会把这个键标记为 dirty,让事务注意到这个键已经被改过。
  • 没修改一次 dirty 会增加1。
  • 如果服务器开启了数据库通知功能,键被修改之后,会按照配置发送通知。

键的过期实现

Redis 作为缓存使用最主要的一个特性就是可以为键值对设置过期时间。就看看 Redis 是如果实现这一个最重要的特性的?

在 Redis 中与过期时间有关的命令

  • EXPIRE 设置 key 的存活时间单位秒
  • EXPIREAT 设置 key 的过期时间点单位秒
  • PEXPIRE 设置 key 的存活时间单位毫秒
  • PEXPIREAT 设置 key 的过期时间点单位毫秒

其实这些命令,底层的命令都是由 REXPIREAT 实现的。

在 redisDb 中使用了 dict *expires,来存储过期时间的。其中 key 指向了 keyspace 中的 key(c 语言中的指针), value 是一个 long long 类型的时间戳,标定这个 key 过期的时间点,单位是毫秒。

如果我们为上文的 mobile 增加一个过期时间。

>redis PEXPIREAT mobile 1521469812000

这个时候就会在过期的 字典中增加一个键值对。如下图:

对于过期的判断逻辑就很简单:

  1. 在 字典 expires 中 key 是否存在。
  2. 如果 key 存在,value 的时间戳是否小于当前系统时间戳。

接下来就需要讨论一下过期的键的删除策略。

key的删除有三种策略:

  1. 定时删除,Redis定时的删除内存里面所有过期的键值对,这样能够保证内存友好,过期的key都会被删除,但是如果key的数量很多,一次删除需要CPU运算,CPU不友好。
  2. 惰性删除,只有 key 在被调用的时候才去检查键值对是否过期,但是会造成内存中存储大量的过期键值对,内存不友好,但是极大的减轻CPU 的负担。
  3. 定时部分删除,Redis定时扫描过期键,但是只删除部分,至于删除多少键,根据当前 Redis 的状态决定。

这三种策略就是对时间和空间有不同的倾向。Redis为了平衡时间和空间,采用了后两种策略 惰性删除和定时部分删除。

惰性删除比较简单,不做过多介绍。主要讨论一下定时部分删除。

过期键的定时删除的策略由 expire.c/activeExpireCycle() 函数实现,server.c/serverCron() 定时的调用 activieExpireCycle() 。

activeExpireCycle 的大的操作原则是,如果过期的key比较少,则删除key的数量也比较保守,如果,过期的键多,删除key的策略就会很激进。

static unsigned int current_db = 0; /* Last DB tested. */static int timelimit_exit = 0; /* Time limit hit in previous call? */static long long last_fast_cycle = 0; /* When last fast cycle ran. */
  • 首先三个 static 全局参数分别记录目前遍历的 db下标,上一次删除是否是超时退出的,上一次快速操作是什么时候进行的。
  • 计算 timelimit = 1000000*ACTIVE_EXPIRE_CYCLE_SLOW_TIME_PERC/server.hz/100; 可以理解为 25% 的 cpu 时间。
  • 如果 db 中 expire 的大小为0 不操作
  • expire 占总 key 小于 1% 不操作
  • num = dictSize(db->expires);num 是 expire 使用的key的数量。
  • slots = dictSlots(db->expires); slots 是 expire 字典的尺寸大小。
  • 已使用的key(num) 大于 ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP 则设置为 ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP。也就是说每次只检查 ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP 个键。
  • 随机获取带过期的 key。计算是否过期,如果过期就删除。
  • 然后各种统计,包括删除键的次数,平均过期时间。
  • 每遍历十六次,计算操作时间,如果超过 timelimit 结束返回。
  • 如果删除的过期键大于 ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP 的 14 就跳出循环,结束。

步骤比较复杂,总结一下:(这里都是以默认配置描述)

  1. redis 会用最多 25% 的 cpu 时间处理键的过期。
  2. 遍历所有的 redisDb
  3. 在每个 redisDb 中如果数据中没有过期键或者过期键比例过低就直接进入下一个 redisDb。
  4. 否则,遍历 redisDb 中的过期键,如果删除的键达到有过期时间的的key 的25% ,或者操作时间大于 cpu 时间的 25% 就结束当前循环,进入下一个redisDb。

后记

这篇文章主要解释了 Redis 的数据库是怎么实现的,同时介绍了 Redis 处理过期键的逻辑。看 Redis 的代码越多越发现,实际上 Redis 一直在做的一件事情就是平衡,一直在平衡程序的空间和时间。其实平时的业务设计,就是在宏观上平衡,平衡宏观系统的时间和空间。所以,看源码是让我们从微观学习系统架构的良好途径,是架构师的成长的必经之路。

jtoken判断是否包含键_Redis 数据库、键过期的实现相关推荐

  1. jtoken判断是否包含键_Redis源码解析十三--有序集合类型键实现(t_zset)

    有序集合类型键实现 1. 有序集合命令 Redis有序集合命令如下表所示:Redis 有序集合命令详解 2. 有序集合类型实现 有序集合对象的底层实现类型如下表: 关于底层的数据结构剖析和实现,请看如 ...

  2. jtoken判断是否包含键_Redis列表键(linkedlist/ziplist)的介绍

    Redis的列表对象(list object)底层实现之一就是链表. 当一个列表键包含了数量比较多的元素,又或者列表中包含的元素都是比较长的字符串时,Redis会使用链表作为列表键的底层实现. 当一个 ...

  3. jtoken判断是否包含键_c#-确定JToken是否为叶子

    我正在尝试动态查找事先不知道其结构的JSON对象的叶节点的名称.首先,我将字符串解析为JTokens列表,如下所示: string req = @"{'creationRequestId': ...

  4. 键值数据库PebblesDB读后感

    键值数据库PebblesDB读后感        在LevelDB/RocksDB这种分层思路上,PebblesDB提出了一种减少写放大的思路,下面学习并总结,所述以论文为基础,也有个人 观点,客观论 ...

  5. python如何判断字典中是否存在某个键_总结:11个Python3字典内置方法大全及示例...

    概述 字典有着类似列表的高灵活度的特点,而与列表通过偏移索引的存取元素的方式不同,字典是通过无序的键来存取键值对的,即字典是任意对象的无需集合,可在原处增加或减少,且支持任意深度的嵌套(即可以包含诸如 ...

  6. 数据库中主键和外键的设计原则

    來源:http://www.cnblogs.com/deng02/archive/2009/02/26/1398462.html 主键和外键是把多个表组织为一个有效的关系数据库的粘合剂.主键和外键的设 ...

  7. 数据库的几个概念:主键,外键,索引,唯一索引

    主键: 主键是数据表的唯一索引,比如学生表里有学号和姓名,姓名可能有重名的,但学号确是唯一的,你要从学生表中搜索一条纪录如查找一个人,就只能根据学号去查找,这才能找出唯一的一个,这就是主键;如:id ...

  8. php判断数组中的键是否是某个字符串,php判断数组中是否存在指定键(key)的方法...

    搜索热词 本文实例讲述了PHP判断数组中是否存在指定键(key)的方法.分享给大家供大家参考.具体分析如下: PHP中有两个函数用来判断数组中是否包含指定的键,分别是array_key_exists和 ...

  9. php 存在键,php判断数组中是否存在指定键(key)的方法

    本文实例讲述了php判断数组中是否存在指定键(key)的方法.分享给大家供大家参考.具体分析如下: php中有两个函数用来判断数组中是否包含指定的键,分别是array_key_exists和isset ...

最新文章

  1. vuex中获取的数据使用v-model绑定出问题
  2. abaqus推荐用哪一版本的_2020年双十一哪一款立式空调/柜式空调值得推荐?【立式空调推荐/柜式空调推荐】·精选...
  3. strong与em、q、cite、blockquote区别
  4. AIX主机信任关系配置
  5. NodeJS常用模块介绍
  6. Mysql 使用正则表达式
  7. kafka自带的zk启动_Centos上将zookeeper和kafka设置为开机自启
  8. 此计算机上的windows防火墙阻止了远程调试_除了防火墙,用PowerShell命令也可以屏蔽网站,这个方法更简单...
  9. Vue的全屏组件vue-fullscreen
  10. linux常用net命令
  11. 如何在Windows下安装ReviewBoard
  12. Python3 找200以内的所有素数/质数 | break与continue
  13. linux下mysql的sql脚本在哪里,Linux下通过shell进MySQL执行SQL或导入脚本
  14. Windows 系统引导过程
  15. 大学计算机信息技术实践教程,清华大学出版社-图书详情-《大学信息技术基础实验教程(Windows7 + Office2010)》...
  16. 2.微处理器:8088功能结构图【BIU 和 EU】 + 8088【内部各寄存器】的解释
  17. [UnityPhoton]Photon Chat 对话框测试
  18. CSDN的markdown的KaTex数学公式
  19. 加解密、PKI与CA基础
  20. Python学习之Part09.高阶函数filter(),map(),reduce(),sorted()

热门文章

  1. mysql“Access denied for user 'root'@'localhost'”问题的解决
  2. 谈谈C#中的三个关键词new , virtual , override(装载 Winner.Net)
  3. 业界资讯:adobe 技术开发中心 放出游戏单元
  4. 黄文俊:Serverless小程序后端技术分享
  5. 驱动开发之 设备读写方式:缓冲区方式
  6. 每天一道算法题(39)——含有重复字符的全排列
  7. 我的LINUX学习之路之二十一之web服务器简单搭建
  8. 未来十大技能职场吃香
  9. mysql 之 优化 (收集于网络)
  10. 执行git命令时出现fatal: ‘origin‘ does not appear to be a git repository错误