点击上方蓝色“程序猿DD”,选择“设为星标”

回复“资源”获取独家整理的学习资料!

作者 | 千山qianshan

来源 | http://rrd.me/et29e

Redis占用内存大小

我们知道Redis是基于内存的key-value数据库,因为系统的内存大小有限,所以我们在使用Redis的时候可以配置Redis能使用的最大的内存大小。

1、通过配置文件配置

通过在Redis安装目录下面的redis.conf配置文件中添加以下配置设置内存大小

//设置Redis最大占用内存大小为100M
maxmemory 100mb

redis的配置文件不一定使用的是安装目录下面的redis.conf文件,启动redis服务的时候是可以传一个参数指定redis的配置文件的

2、通过命令修改

Redis支持运行时通过命令动态修改内存大小

//设置Redis最大占用内存大小为100M
127.0.0.1:6379> config set maxmemory 100mb
//获取设置的Redis能使用的最大内存大小
127.0.0.1:6379> config get maxmemory

如果不设置最大内存大小或者设置最大内存大小为0,在64位操作系统下不限制内存大小,在32位操作系统下最多使用3GB内存

Redis的内存淘汰

既然可以设置Redis最大占用内存大小,那么配置的内存就有用完的时候。那在内存用完的时候,还继续往Redis里面添加数据不就没内存可用了吗?

实际上Redis定义了几种策略用来处理这种情况:

noeviction(默认策略):对于写请求不再提供服务,直接返回错误(DEL请求和部分特殊请求除外)

allkeys-lru:从所有key中使用LRU算法进行淘汰

volatile-lru:从设置了过期时间的key中使用LRU算法进行淘汰

allkeys-random:从所有key中随机淘汰数据

volatile-random:从设置了过期时间的key中随机淘汰

volatile-ttl:在设置了过期时间的key中,根据key的过期时间进行淘汰,越早过期的越优先被淘汰

当使用volatile-lruvolatile-randomvolatile-ttl这三种策略时,如果没有key可以被淘汰,则和noeviction一样返回错误

如何获取及设置内存淘汰策略

获取当前内存淘汰策略:

127.0.0.1:6379> config get maxmemory-policy

通过配置文件设置淘汰策略(修改redis.conf文件):

maxmemory-policy allkeys-lru

通过命令修改淘汰策略:

127.0.0.1:6379> config set maxmemory-policy allkeys-lru

LRU算法

什么是LRU?

上面说到了Redis可使用最大内存使用完了,是可以使用LRU算法进行内存淘汰的,那么什么是LRU算法呢?

LRU(Least Recently Used),即最近最少使用,是一种缓存置换算法。在使用内存作为缓存的时候,缓存的大小一般是固定的。当缓存被占满,这个时候继续往缓存里面添加数据,就需要淘汰一部分老的数据,释放内存空间用来存储新的数据。这个时候就可以使用LRU算法了。其核心思想是:如果一个数据在最近一段时间没有被用到,那么将来被使用到的可能性也很小,所以就可以被淘汰掉。

使用java实现一个简单的LRU算法

public class LRUCache<k, v> {//容量private int capacity;//当前有多少节点的统计private int count;//缓存节点private Map<k, Node<k, v>> nodeMap;private Node<k, v> head;private Node<k, v> tail;public LRUCache(int capacity) {if (capacity < 1) {throw new IllegalArgumentException(String.valueOf(capacity));}this.capacity = capacity;this.nodeMap = new HashMap<>();//初始化头节点和尾节点,利用哨兵模式减少判断头结点和尾节点为空的代码Node headNode = new Node(null, null);Node tailNode = new Node(null, null);headNode.next = tailNode;tailNode.pre = headNode;this.head = headNode;this.tail = tailNode;}public void put(k key, v value) {Node<k, v> node = nodeMap.get(key);if (node == null) {if (count >= capacity) {//先移除一个节点removeNode();}node = new Node<>(key, value);//添加节点addNode(node);} else {//移动节点到头节点moveNodeToHead(node);}}public Node<k, v> get(k key) {Node<k, v> node = nodeMap.get(key);if (node != null) {moveNodeToHead(node);}return node;}private void removeNode() {Node node = tail.pre;//从链表里面移除removeFromList(node);nodeMap.remove(node.key);count--;}private void removeFromList(Node<k, v> node) {Node pre = node.pre;Node next = node.next;pre.next = next;next.pre = pre;node.next = null;node.pre = null;}private void addNode(Node<k, v> node) {//添加节点到头部addToHead(node);nodeMap.put(node.key, node);count++;}private void addToHead(Node<k, v> node) {Node next = head.next;next.pre = node;node.next = next;node.pre = head;head.next = node;}public void moveNodeToHead(Node<k, v> node) {//从链表里面移除removeFromList(node);//添加节点到头部addToHead(node);}class Node<k, v> {k key;v value;Node pre;Node next;public Node(k key, v value) {this.key = key;this.value = value;}}
}

上面这段代码实现了一个简单的LUR算法,代码很简单,也加了注释,仔细看一下很容易就看懂。

LRU在Redis中的实现

近似LRU算法

Redis使用的是近似LRU算法,它跟常规的LRU算法还不太一样。近似LRU算法通过随机采样法淘汰数据,每次随机出5(默认)个key,从里面淘汰掉最近最少使用的key。

可以通过maxmemory-samples参数修改采样数量:例:maxmemory-samples 10 maxmenory-samples配置的越大,淘汰的结果越接近于严格的LRU算法

Redis为了实现近似LRU算法,给每个key增加了一个额外增加了一个24bit的字段,用来存储该key最后一次被访问的时间。

Redis3.0对近似LRU的优化

Redis3.0对近似LRU算法进行了一些优化。新算法会维护一个候选池(大小为16),池中的数据根据访问时间进行排序,第一次随机选取的key都会放入池中,随后每次随机选取的key只有在访问时间小于池中最小的时间才会放入池中,直到候选池被放满。当放满后,如果有新的key需要放入,则将池中最后访问时间最大(最近被访问)的移除。

当需要淘汰的时候,则直接从池中选取最近访问时间最小(最久没被访问)的key淘汰掉就行。

LRU算法的对比

我们可以通过一个实验对比各LRU算法的准确率,先往Redis里面添加一定数量的数据n,使Redis可用内存用完,再往Redis里面添加n/2的新数据,这个时候就需要淘汰掉一部分的数据,如果按照严格的LRU算法,应该淘汰掉的是最先加入的n/2的数据。生成如下各LRU算法的对比图(图片来源):

你可以看到图中有三种不同颜色的点:

  • 浅灰色是被淘汰的数据

  • 灰色是没有被淘汰掉的老数据

  • 绿色是新加入的数据

我们能看到Redis3.0采样数是10生成的图最接近于严格的LRU。而同样使用5个采样数,Redis3.0也要优于Redis2.8。

LFU算法

LFU算法是Redis4.0里面新加的一种淘汰策略。它的全称是Least Frequently Used,它的核心思想是根据key的最近被访问的频率进行淘汰,很少被访问的优先被淘汰,被访问的多的则被留下来。

LFU算法能更好的表示一个key被访问的热度。假如你使用的是LRU算法,一个key很久没有被访问到,只刚刚是偶尔被访问了一次,那么它就被认为是热点数据,不会被淘汰,而有些key将来是很有可能被访问到的则被淘汰了。如果使用LFU算法则不会出现这种情况,因为使用一次并不会使一个key成为热点数据。

LFU一共有两种策略:

  • volatile-lfu:在设置了过期时间的key中使用LFU算法淘汰key

  • allkeys-lfu:在所有的key中使用LFU算法淘汰数据

设置使用这两种淘汰策略跟前面讲的一样,不过要注意的一点是这两周策略只能在Redis4.0及以上设置,如果在Redis4.0以下设置会报错

问题

最后留一个小问题,可能有的人注意到了,我在文中并没有解释为什么Redis使用近似LRU算法而不使用准确的LRU算法,可以在评论区给出你的答案,大家一起讨论学习。

本文通过OpenWrite的免费Markdown转换工具发布

留言交流不过瘾

关注我,回复“加群”加入各种主题讨论群

经典面试题:Redis 内存满了怎么办?相关推荐

  1. redis删除过期key的算法_面试官别再问我Redis内存满了该怎么办了

    概述 Redis的文章,我之前写过一篇关于「Redis的缓存的三大问题」,累计阅读也快800了,对于还只有3k左右的粉丝量,能够达到这个阅读量,已经是比较难了. 这说明那篇文章写的还过得去,收到很多人 ...

  2. 别再问我Redis内存满了该怎么办了

    概述 Redis的文章,我之前写过一篇关于「Redis的缓存的三大问题」,累计阅读也快800了,对于还只有3k左右的粉丝量,能够达到这个阅读量,已经是比较难了. 这说明那篇文章写的还过得去,收到很多人 ...

  3. 蚂蚁金服java研发岗二面:Redis内存满了该怎么办了

    原文作者来源于非科班的科班 ,作者黎杜 概述 「三大缓存问题」只是Redis的其中的一小部分的知识点,想要深入学习Redis还要学习比较多的知识点. 那么今天就带来了一个面试常问的一个问题:「假如你的 ...

  4. 面试官问我:Redis 内存满了怎么办

    转载自 想不到!面试官问我:Redis 内存满了怎么办 Redis占用内存大小 Redis的内存淘汰 LRU算法 LRU在Redis中的实现 LFU算法 问题 Redis占用内存大小 我们知道Redi ...

  5. Redis 内存满了怎么办?这样置才正确!

    在Redis中,如果过期的数据太多,定时删除无法删除完全(每次删除完过期的 key 还是超过 25%),同时这些 key 再也不会被客户端请求,就无法走惰性删除,内存被打满会怎样? 答案是走内存淘汰机 ...

  6. 美团面试题:Redis 内存满了怎么办?

    今日推荐强制双休!腾讯调整加班机制,21 点前必须离开工位 使用雪花id或uuid作为Mysql主键,被老板怼了一顿! 盘点 12 个 GitHub 上的高仿项目 CTO 说了,用错 @Autowir ...

  7. 想不到!面试官问我:Redis 内存满了怎么办?

    点击上方"方志朋",选择"设为星标" 回复"666"获取新整理的面试资料 来源:http://rrd.me/et29e Redis占用内存大 ...

  8. iOS经典面试题总结--内存管理

    内存管理 1.什么是ARC? ARC是automatic reference counting自动引用计数,在程序编译时自动加入retain/release.在对象被创建时retain count+1 ...

  9. Redis:内存满了的解决方案

    1,增加内存: 2,使用内存淘汰策略.(LRU) 3,Redis集群.   重点介绍下23: 第2点: 我们知道,redis设置配置文件的maxmemory参数,可以控制其最大可用内存大小(字节). ...

最新文章

  1. solaris磁带设备使用方法总结
  2. 三分钟破解无线网——无线网络安全攻防
  3. tensorflow keras 对应版本
  4. 简单的问题和复杂的问题
  5. SQLServer:GUI方式、SQL语句两种方式建立视图和GUI方式设置主键、约束等
  6. Zookeeper_实际应用讲解
  7. 移动端导出excel_连载系列【4】Excel开发移动端quot;APPquot;
  8. 企业选择使用混合云集成的原因
  9. 远端WWW服务支持TRACE请求漏洞修复(linux)
  10. [源码]C# to SQL 的翻译器.net 1.1版
  11. 如何区分数据科学家,数据工程师与数据分析师
  12. 信号与系统 --- 复指数函数(个人学习笔记)
  13. 找电影最强攻略,最全资源站
  14. 微信小程序mpvue框架
  15. HC05 蓝牙控制LED问题
  16. 撤回的微信消息腾讯服务器有记录吗,教你如何查看对方已经撤回的微信消息
  17. ESP32CAM摄像头图像实时传输
  18. 关于Docker以及安装方法
  19. thinkphp3.2乐观锁源码解读与优化
  20. 网站服务器备案有什么危害,域名备案对服务器有影响吗

热门文章

  1. kibana 报错 server is not ready yet 可能的原因
  2. python3 异步错误 asyncio.Semaphore RuntimeError: Task got Future attached to a different loop
  3. python3 修改字符串的四种方法 错误 'str' object does not support item assignment 解决方法
  4. linux shell ls 输出存进数组变量
  5. shell 报错 shell-init: error retrieving current directory: getcwd: cannot access parent directories
  6. centos7 中iptables、firewalld 、netfilter 关系
  7. linux 内核 字符串转换函数
  8. Android 中 JUnit 测试的配置
  9. Centos 7.2搭建MariaDB数据库服务器应用与管理
  10. linux删除文件夹命令6,linux 结合find命令进行文件的删除