原文地址:www.xilidou.com/2018/03/20/…

之前的文章讲解了 Redis 的数据结构,这回就可以看看作为内存数据库,Redis 是怎么存储数据的。以及键是怎么过期的。

阅读这篇文章你将会了解到:

  • Redis 的数据库实现
  • Redis 键过期的策略

数据库的实现

我们先看代码 server.h/redisServer

struct redisServer{...//保存 db 的数组redisDb *db;//db 的数量int dbnum;...
}复制代码

再看redisDb的代码:

typedef struct redisDb {dict *dict;                 /* The keyspace for this DB */dict *expires;              /* Timeout of keys with a timeout set */dict *blocking_keys;        /* Keys with clients waiting for data (BLPOP)*/dict *ready_keys;           /* Blocked keys that received a PUSH */dict *watched_keys;         /* WATCHED keys for MULTI/EXEC CAS */int id;                     /* Database ID */long long avg_ttl;          /* Average TTL, just for stats */
} redisDb;复制代码

总体来说redis的 server 包含若干个(默认16个) redisDb 数据库。

Redis 是一个 k-v 存储的键值对数据库。其中字典 dict 保存了数据库中的所有键值对,这个地方叫做 keyspace 直译过来就是“键空间”。

所以我们就可以这么认为,在 redisDb 中我们使用 dict(字典)来维护键空间。

  • keyspace 的 kay 是数据库的 key,每一个key 是一个字符串对象。注意不是字符串,而是字符串对象。

  • keyspace 的 value 是数据库的 value,这个 value 可以是 redis 的,字符串对象,列表对象,哈希表对象,集合对象或者有序对象中的一种。

数据库读写操作

所以对于数据的增删改查,就是对 keyspace 这个大 map 的增删改查。

当我们执行:

>redis SET mobile "13800000000"
复制代码

实际上就是为 keyspace 增加了一个 key 是包含字符串“mobile”的字符串对象,value 为包含字符“13800000000”的字符串对象。

看图:

对于删改查,没啥好说的。类似java 的 map 操作,大多数程序员应该都能理解。

需要特别注意的是,再执行对键的读写操作的时候,Redis 还要做一些额外的维护动作:

  • 维护 hit 和 miss 两个计数器。用于统计 Redis 的缓存命中率。
  • 更新键的 LRU 时间,记录键的最后活跃时间。
  • 如果在读取的时候发现键已经过期,Redis 先删除这个过期的键然后再执行余下操作。
  • 如果有客户对这个键执行了 WATCH 操作,会把这个键标记为 dirty,让事务注意到这个键已经被改过。
  • 没修改一次 dirty 会增加1。
  • 如果服务器开启了数据库通知功能,键被修改之后,会按照配置发送通知。

键的过期实现

Redis 作为缓存使用最主要的一个特性就是可以为键值对设置过期时间。就看看 Redis 是如果实现这一个最重要的特性的?

在 Redis 中与过期时间有关的命令

  • EXPIRE 设置 key 的存活时间单位秒
  • EXPIREAT 设置 key 的过期时间点单位秒
  • PEXPIRE 设置 key 的存活时间单位毫秒
  • PEXPIREAT 设置 key 的过期时间点单位毫秒

其实这些命令,底层的命令都是由 REXPIREAT 实现的。

在 redisDb 中使用了 dict *expires,来存储过期时间的。其中 key 指向了 keyspace 中的 key(c 语言中的指针), value 是一个 long long 类型的时间戳,标定这个 key 过期的时间点,单位是毫秒。

如果我们为上文的 mobile 增加一个过期时间。

>redis PEXPIREAT mobile 1521469812000
复制代码

这个时候就会在过期的 字典中增加一个键值对。如下图:

对于过期的判断逻辑就很简单:

  1. 在 字典 expires 中 key 是否存在。
  2. 如果 key 存在,value 的时间戳是否小于当前系统时间戳。

接下来就需要讨论一下过期的键的删除策略。

key的删除有三种策略:

  1. 定时删除,Redis定时的删除内存里面所有过期的键值对,这样能够保证内存友好,过期的key都会被删除,但是如果key的数量很多,一次删除需要CPU运算,CPU不友好。
  2. 惰性删除,只有 key 在被调用的时候才去检查键值对是否过期,但是会造成内存中存储大量的过期键值对,内存不友好,但是极大的减轻CPU 的负担。
  3. 定时部分删除,Redis定时扫描过期键,但是只删除部分,至于删除多少键,根据当前 Redis 的状态决定。

这三种策略就是对时间和空间有不同的倾向。Redis为了平衡时间和空间,采用了后两种策略 惰性删除和定时部分删除。

惰性删除比较简单,不做过多介绍。主要讨论一下定时部分删除。

过期键的定时删除的策略由 expire.c/activeExpireCycle() 函数实现,server.c/serverCron() 定时的调用 activieExpireCycle()

activeExpireCycle 的大的操作原则是,如果过期的key比较少,则删除key的数量也比较保守,如果,过期的键多,删除key的策略就会很激进。

static unsigned int current_db = 0; /* Last DB tested. */
static int timelimit_exit = 0;      /* Time limit hit in previous call? */
static long long last_fast_cycle = 0; /* When last fast cycle ran. */
复制代码
  • 首先三个 static 全局参数分别记录目前遍历的 db下标,上一次删除是否是超时退出的,上一次快速操作是什么时候进行的。

  • 计算 timelimit = 1000000*ACTIVE_EXPIRE_CYCLE_SLOW_TIME_PERC/server.hz/100; 可以理解为 25% 的 cpu 时间。

  • 如果 db 中 expire 的大小为0 不操作

  • expire 占总 key 小于 1% 不操作

  • num = dictSize(db->expires);num 是 expire 使用的key的数量。

  • slots = dictSlots(db->expires); slots 是 expire 字典的尺寸大小。

  • 已使用的key(num) 大于 ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP 则设置为 ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP。也就是说每次只检查 ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP 个键。

  • 随机获取带过期的 key。计算是否过期,如果过期就删除。

  • 然后各种统计,包括删除键的次数,平均过期时间。

  • 每遍历十六次,计算操作时间,如果超过 timelimit 结束返回。

  • 如果删除的过期键大于 ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP 的 1\4 就跳出循环,结束。

步骤比较复杂,总结一下:(这里都是以默认配置描述)

  1. redis 会用最多 25% 的 cpu 时间处理键的过期。
  2. 遍历所有的 redisDb
  3. 在每个 redisDb 中如果数据中没有过期键或者过期键比例过低就直接进入下一个 redisDb。
  4. 否则,遍历 redisDb 中的过期键,如果删除的键达到有过期时间的的key 的25% ,或者操作时间大于 cpu 时间的 25% 就结束当前循环,进入下一个redisDb。

后记

这篇文章主要解释了 Redis 的数据库是怎么实现的,同时介绍了 Redis 处理过期键的逻辑。看 Redis 的代码越多越发现,实际上 Redis 一直在做的一件事情就是平衡,一直在平衡程序的空间和时间。其实平时的业务设计,就是在宏观上平衡,平衡系统的时间和空间。所以我想说的是,看源码是让我们从微观学习系统架构,是每一位架构师的必经之路。大家加油。

我之前的三篇关于 Redis 的基础数据结构链接地址,欢迎大家阅读。

Redis 的基础数据结构(一) 可变字符串、链表、字典

Redis 的基础数据结构(二) 整数集合、跳跃表、压缩列表

Redis 的基础数据结构(三)对象

欢迎关注我的微信公众号:

Redis 数据库、键过期的实现相关推荐

  1. Redis数据库-键的生存时间与过期时间的区别

    2019独角兽企业重金招聘Python工程师标准>>> 生存时间是一个时间值,表示从当前时间开始,经过多少秒过期: 过期时间是一个Unix时间戳,是一个时间点,比如2015-06-1 ...

  2. redis源码剖析(六)—— Redis 数据库、键过期的实现

    文章目录 数据库的实现 数据库读写操作 键的过期实现 数据库的实现 我们先看代码 server.h/redisServer struct redisServer{...//保存 db 的数组redis ...

  3. 分布式内存数据库---Redis数据库之(键)key

    Redis数据库之(键)key 前面讲了Redis存储的数据类型是key-value类型,Value可以是如String.List.Set.Hashes和Sorted-Set.这些命令都具有一个共同点 ...

  4. 05_NoSQL数据库之Redis数据库:Redis的常用命令,键值相关命令和服务器相关命令

     Redis常用命令 Redis提供了丰富的命令对数据库和各种数据库类型进行操作,这些命令可以再Linux终端使用. 键值相关命令: Keys:返回满足给定pattern的所有key 用表达式*表 ...

  5. redis设置键的生存时间或过期时间

    设置键的生存时间或过期时间 通过EXPIRE 命令或者PEXPIRE 命令,客户端可以以秒或者毫秒精度为数据库中的某个键设置生存时间( Time To Live , TTL) ,在经过指定的秒数或者毫 ...

  6. jtoken判断是否包含键_Redis 数据库、键过期的实现

    今天看看作为内存数据库,Redis 是怎么存储数据的以及键是怎么过期的. 阅读这篇文章你将会了解到: Redis 的数据库实现 Redis 键过期的策略 数据库的实现 我们先看代码 server.h/ ...

  7. 一文详解Redis键过期策略

    1 设置带过期时间的 key # 时间复杂度:O(1),最常用方式 expire key seconds# 字符串独有方式 setex(String key, int seconds, String ...

  8. Redis附加功能之键过期功能

    一.键过期功能的相关命令 二.设置生存时间 Redis 提供了两个命令来设置键的生存时间(TTL,time to live),它们分别是: 如果给定的键不存在,那么 EXPIRE 和 PEXPIRE ...

  9. redis 失效时间单位是秒还是毫秒_redis键过期时间的应用

    expire 设置生存时间(单位/秒) pexpire设置生存时间(单位/毫秒) ttl/pttl 查看键的剩余生存时间 persist 取消生存时间 expireat [key] unix时间戳13 ...

最新文章

  1. PHP中类和文件的代码注释规范
  2. 1、leetcode209 长度最小的子数组
  3. mysql bean分页查询_javabean 来实现 MySQL 的分页
  4. R语言可视化学习笔记之ggpubr包
  5. xpath提取目录下所有标签内的内容,递归 //text()
  6. 【优化分类】基于matlab粒子群算法优化支持向量机分类(多输入多分类)【含Matlab源码 1559期】
  7. 51单片机定时器TMOD与TCON、SCON
  8. java雷霆战机项目收获_java实习项目_雷霆战机
  9. 在网上买衣服如何测量自己衣服尺码?
  10. poj - 2586 - Y2K Accounting Bug
  11. 小白学习Java必练基础题(一)
  12. 联想的高清壁纸蛮不错的,速提!
  13. js中for-in的用法
  14. c#中如何进行com口操作?
  15. python123《python语言程序设计》程序设计题第一周第二周第三周第四周第五周
  16. 西门子S7-1500教学视频
  17. am5728 使用mailbox 通信
  18. java 参数传递为空_java 参数传递 空对象 null
  19. Linux——进程间通信大汇总!(概述、管道通信、消息队列、共享内存、信号、信号量)
  20. python在电脑上的图标_python-设置窗口图标

热门文章

  1. linux tomcat PermGen space
  2. 第二章--电商设计表
  3. golang 交叉编译总结
  4. Asp.net五大对象
  5. 局域网设备与公网服务之间如何交互数据?
  6. Python精通-Python列表操作
  7. Linux下必须知道的网络命令(持续更新)
  8. hive udaf_Hive自定义函数
  9. Kafka与RocketMQ的对比分析
  10. asp.net mvc中的后台验证