作为一个内存数据库,redis在内存空间不足的时候,为了保证命中率,就会选择一定的数据淘汰策略,这篇文章主要讲解常见的几种内存淘汰策略。和我们操作系统中的页面置换算法类似。

一、参数设置

我们的redis数据库的最大缓存、主键失效、淘汰机制等参数都是通过配置文件来配置的。这个文件是我们的redis.config文件,我们的redis装在了/usr/local/redis目录下,所以配置文件也在这里。首先说明一下我使用的redis是5。也是目前最新的版本。

1、最大内存参数

关键的配置就在最下面,我们可以设置多少个字节。默认是关闭的。

2、内存淘汰策略

不同于之前的版本,redis5.0为我们提供了八个不同的内存置换策略。很早之前提供了6种。

(1)volatile-lru:从已设置过期时间的数据集中挑选最近最少使用的数据淘汰。

(2)volatile-ttl:从已设置过期时间的数据集中挑选将要过期的数据淘汰。

(3)volatile-random:从已设置过期时间的数据集中任意选择数据淘汰。

(4)volatile-lfu:从已设置过期时间的数据集挑选使用频率最低的数据淘汰。

(5)allkeys-lru:从数据集中挑选最近最少使用的数据淘汰

(6)allkeys-lfu:从数据集中挑选使用频率最低的数据淘汰。

(7)allkeys-random:从数据集(server.db[i].dict)中任意选择数据淘汰

(8) no-enviction(驱逐):禁止驱逐数据,这也是默认策略。意思是当内存不足以容纳新入数据时,新写入操作就会报错,请求可以继续进行,线上任务也不能持续进行,采用no-enviction策略可以保证数据不被丢失。

这八种大体上可以分为4中,lru、lfu、random、ttl。

二、淘汰机制的实现

1、删除失效主键

既然是淘汰,那就需要把这些数据给删除,然后保存新的。Redis 删除失效主键的方法主要有两种:

(1)消极方法(passive way),在主键被访问时如果发现它已经失效,那么就删除它。redis在实现GET、MGET、HGET、LRANGE等所有涉及到读取数据的命令时都会调用 expireIfNeeded,它存在的意义就是在读取数据之前先检查一下它有没有失效,如果失效了就删除它。

 1int expireIfNeeded(redisDb *db, robj *key) {2    //获取主键的失效时间3    long long when = getExpire(db,key);4    //假如失效时间为负数,说明该主键未设置失效时间(失效时间默认为-1),直接返回05    if (when < 0) return 0;6    //假如Redis服务器正在从RDB文件中加载数据,暂时不进行失效主键的删除,直接返回07    if (server.loading) return 0;8    /*假如当前的Redis服务器是作为Slave运行的,那么不进行失效主键的删除,因为Slave9    上失效主键的删除是由Master来控制的,但是这里会将主键的失效时间与当前时间进行
10    一下对比,以告知调用者指定的主键是否已经失效了*/
11    if (server.masterhost != NULL) {12        return mstime() > when;
13    }
14    /*如果以上条件都不满足,就将主键的失效时间与当前时间进行对比,如果发现指定的主键
15    还未失效就直接返回0*/
16    if (mstime() <= when) return 0;
17    /*如果发现主键确实已经失效了,那么首先更新关于失效主键的统计个数,然后将该主键失
18    效的信息进行广播,最后将该主键从数据库中删除*/
19    server.stat_expiredkeys++;
20    propagateExpire(db,key);
21    return dbDelete(db,key);
22}

expireIfNeeded函数中调用的另外一个函数propagateExpire,这个函数用来在正式删除失效主键,并且广播告诉其他地方,目的地有俩:AOF文件,将删除失效主键的这一操作以DEL Key的标准命令格式记录下来;另一个就是发送到当前Redis服务器的所有Slave,同样将删除失效主键的这一操作以DEL Key的标准命令格式告知这些Slave删除各自的失效主键。

 1void propagateExpire(redisDb *db, robj *key) {2    robj *argv[2];3    //shared.del是在Redis服务器启动之初就已经初始化好的一个常用Redis对象,即DEL命令4    argv[0] = shared.del;5    argv[1] = key;6    incrRefCount(argv[0]);7    incrRefCount(argv[1]);8    //检查Redis服务器是否开启了AOF,如果开启了就为失效主键记录一条DEL日志9    if (server.aof_state != REDIS_AOF_OFF)
10        feedAppendOnlyFile(server.delCommand,db->id,argv,2);
11    /*检查Redis服务器是否拥有Slave,如果是就向所有Slave发送DEL失效主键的命令,这就是
12    上面expireIfNeeded函数中发现自己是Slave时无需主动删除失效主键的原因了,因为它
13    只需听从Master发送过来的命令就OK了*/
14    if (listLength(server.slaves))
15        replicationFeedSlaves(server.slaves,db->id,argv,2);
16    decrRefCount(argv[0]);
17    decrRefCount(argv[1]);
18}

(2)积极方法(active way),周期性地探测,发现失效就删除。消极方法的缺点是,如果key 迟迟不被访问,就会占用很多内存空间,所以才有积极方式。

(3)主动删除:当内存超过maxmemory限定时,触发主动清理策略,该策略由启动参数的配置决定

主键具体的失效时间全部都维护在expires这个字典表中:

1typedef struct redisDb {2  dict *dict; //key-value
3  dict *expires;  //维护过期key
4  dict *blocking_keys;
5  dict *ready_keys;
6  dict *watched_keys;
7  int id;
8} redisDb;

2、淘汰数据的量

既然是淘汰数据,那么淘汰多少合适呢?

为了避免频繁的触发淘汰策略,每次会淘汰掉一批数据,淘汰的数据的大小其实是和置换的大小来确定的,如果置换的数据量大,淘汰的肯定也多。

3、置换策略是如何工作

理解置换策略的执行方式是非常重要的,比如:

(1)客户端执行一条新命令,导致数据库需要增加数据(比如set key value)

(2)Redis会检查内存使用,如果内存使用超过maxmemory,就会按照置换策略删除一些key

(3)新的命令执行成功

OK,redis数据淘汰策略就先到这,版本使用的是最新的5。可能会和3不同。

angular同源策略禁止读取_Redis5.0数据淘汰策略详解(最新版本,面试常问)相关推荐

  1. 数据挖掘(9-22):数据离散程度+数据清理+三大相关系数+数据库索引(数据库面试常问)+P值含义及理解

    1.衡量数据离散程度的统计量: 数据的离散程度即衡量一组数据的分散程度如何,其衡量的标准和方式有很多,而具体选择哪一种方式则需要依据实际的数据要求进行抉择. 首先针对不同的衡量方式的应用场景大体归纳如 ...

  2. 已拦截跨源请求:同源策略禁止读取位于XXXXXXXXXXXXXXXX/demo_test.txt 的远程资源。(原因:CORS 请求不是 http)

    完整问题复现如下: 已拦截跨源请求:同源策略禁止读取位于XXXXXXXXXXXXXXXX/demo_test.txt 的远程资源.(原因:CORS 请求不是 http) 原始代码index.html在 ...

  3. 已拦截跨源请求:同源策略禁止读取位于 http:**** 的远程资源。(原因:CORS 头缺少 ‘Access-Control-A

    报错: Access to fetch at 'https://www.baidu.com/' from origin 'http://www.baidu.com' has been blocked ...

  4. 已拦截跨源请求:同源策略禁止读取位于...的远程资源。(原因:CORS 请求未能成功)。

    已拦截跨源请求:同源策略禁止读取位于 http://192.168.43.207:8080/manager/login?name=hao&password=111 的远程资源.(原因:CORS ...

  5. 已阻止跨源请求:同源策略禁止读取位于

    解决方法--由于我的是PHP项目,在第二个页面/方法中,就是被请求的方法加入如下代码: Header("Access-Control-Allow-Origin: * "); Hea ...

  6. spark 2.2 读取 Hadoop3.0 数据异常 org.apache.hadoop.hdfs.web.HftpFileSystem cannot access its superinterfa

    spark 2.2 读取 Hadoop3.0 数据异常 Exception in thread "main" java.lang.IllegalAccessError: class ...

  7. 数据结构(字典,跳跃表)、使用场景(计数器、缓存、查找表、消息队列、会话缓存、分布式锁)、Redis 与 Memcached、 键的过期时间、数据淘汰策略、持久化(RDB、AOF)

    1. 数据结构 1.1 字典 dictht 是一个散列表结构,使用拉链法保存哈希冲突的 dictEntry /* This is our hash table structure. Every dic ...

  8. android json mysql_Android通过json向MySQL中读写数据的方法详解【读取篇】

    本文实例讲述了Android通过json向MySQL中读取数据的方法.分享给大家供大家参考,具体如下: 首先 要定义几个解析json的方法parseJsonMulti,代码如下: private vo ...

  9. redis淘汰策略面试题_redis有哪些数据淘汰策略

    redis内存数据数据集大小升到一定大的时候,就会实行数据淘汰策略(回收策略). 1,volatile-lru:从已设置过期时间的哈希表(server.db[i].expires)中随机挑选多个key ...

  10. Discuz3.数据库数据表字典详解(完整版)

    Discuz3.数据库数据表字典详解(完整版) 转自:https://discuzt.cr180.com/discuzcode-db.html pre_common_admincp_cmenu后台菜单 ...

最新文章

  1. 2020人工神经网络第一次作业-参考答案第五部分
  2. 形态分类法的迭代次数与成键的稳定性
  3. java 判断日期为第几天
  4. 7-59 翻转单词顺序 (20 分)
  5. 【官方教程】Ubuntu 安装 mongoDB
  6. NET学习笔记-3:垃圾回收与内存管理
  7. FoundationDB 开源文档数据库模型 Document Layer​​​​​​​
  8. 运筹优化(十七)--存储论基础及其最优化求解
  9. 逆向脱壳附加数据处理
  10. 向量空间 内积空间 欧氏空间 希尔伯特空间
  11. Unity Shader数学基础——矩阵
  12. hdmi怎么支持2k分辨率_为什么显示器闪瞎眼 HDMI线版本有讲究
  13. 机器学习平台系列——XGB feature_names mismatch 问题解决方案
  14. TI公司三大系列DSP内部结构之比较
  15. 给表空间增加新的数据文件
  16. Python 爬虫小课 2-9 中国妖怪数据库,运行中竟然发现有个色(he)欲(xie)妖怪分类
  17. 信息系统开发与管理 04757
  18. matlab 1e3,Matlab 对 ODE的参数进行 拟合 求助@月只蓝 - 计算模拟 - 小木虫 - 学术 科研 互动社区...
  19. 上传图片和得到图片长宽大小的方法
  20. 智慧水利整体解决方案

热门文章

  1. 牛皮!竟然有大佬基于 Spring Boot + Vue 开发了一套网易云QQ音乐(附源码)。。。...
  2. 校招毁约污点公司名录.pdf
  3. 重磅消息,Redis开源作者宣布不再维护Redis项目!
  4. 30页PPT解析微服务架构与最佳实践
  5. 都说 Linux 是吃内存大户,可你知道具体是哪些进程吃掉了吗?
  6. 《Android 面试指南》来自腾讯、阿里巴巴、欢聚时代、美团、聚美优品、悦跑圈等大佬分享的面经...
  7. netty与socket对比_Netty之WebSocket和四种IO介绍
  8. c++删除文件delete_关于macos删除快捷键,你知道这些区别用法吗?
  9. linux中级之防火墙的数据传输过程
  10. Java主类结构:变量与常量