为什么80%的码农都做不了架构师?>>>   

1、过期(expire命令)

设置了失效时间的元素,对于DEL/SET/GETSET/*STORE这些会删除或者重新设置元素的命令,如果失效时间没有到时,失效时间会被清理。对于其他命令如,LPUSH,DECR等不会清理掉元素的失效时间。

可以通过PERSIST设置元素为非失效时间元素。

RENAME设置元素时,不管被设置的新的元素是否存在,被重新设置的新的元素都会使用原来元素的失效时间设置或者继承原来元素的所有属性。

在已经存在失效时间的元素上调用EXPIRE时,对应该元素的失效时间会被重新设置成新设置的值。

redis2.6之前失效时间清理的延时可能在0~1s内,之后就可以控制在0~1ms了。redis的失效时间是通过设置绝对的系统timestamps时间,如果主从复制时,节点的时间存在大的时间差,那就会存在数据不一致的问题。

redis随机检查20个设置了失效时间的元素,删除已经失效的元素,如果存在25%的元素失效,那么redis会重复这个动作。redis会在1s中重复10次这个检查。

主从同步时,如果元素失效时,master节点通过在AOF文件和所有的slave节点发送DEL命令,通过这种方式,由master为中心,slave节点会等待master发送DEL命令,保证了数据的一致。在集群中如果slave被选举为master,对于失效的元素,该节点做为master就可以立即删除失效的元素了。

2、持久化

持久化支持RDB和AOF方式

Redis 提供了多种不同级别的持久化方式:

  • RDB 持久化可以在指定的时间间隔内生成数据集的时间点快照(point-in-time snapshot)。
  • AOF 持久化记录服务器执行的所有写操作命令,并在服务器启动时,通过重新执行这些命令来还原数据集。 AOF 文件中的命令全部以 Redis 协议的格式来保存,新命令会被追加到文件的末尾。 Redis 还可以在后台对 AOF 文件进行重写(rewrite),使得 AOF 文件的体积不会超出保存数据集状态所需的实际大小。
  • Redis 还可以同时使用 AOF 持久化和 RDB 持久化。 在这种情况下, 当 Redis 重启时, 它会优先使用 AOF 文件来还原数据集, 因为 AOF 文件保存的数据集通常比 RDB 文件所保存的数据集更完整。
  • 你甚至可以关闭持久化功能,让数据只在服务器运行时存在。

redis在启动的时候,默认会去加载RDB文件(在AOF持久化未开启的情况下)快照文件,并且在完成加载后才等待客户端的连接。

[7084] 13 Jul 17:31:16.875 # Server started, Redis version 3.0.501
[7084] 13 Jul 17:31:16.875 * DB loaded from disk: 0.000 seconds
[7084] 13 Jul 17:31:16.875 * The server is now ready to accept connections on port 6379

如果配置文件中设置AOF方式,即“appendonly yes”,redis会去加载aof文件,同样是在完成加载后才等待客户端的连接,这个时候就不会加载RDB文件了。

[6540] 13 Jul 17:28:33.504 # Server started, Redis version 3.0.501
[6540] 13 Jul 17:28:45.563 * DB loaded from append only file: 12.059 seconds
[6540] 13 Jul 17:28:45.563 * The server is now ready to accept connections on port 6379

3、RDB和AOF方式的优缺点

RDB 的优点

  • RDB 是一个非常紧凑(compact)的文件,它保存了 Redis 在某个时间点上的数据集。 这种文件非常适合用于进行备份: 比如说,你可以在最近的 24 小时内,每小时备份一次 RDB 文件,并且在每个月的每一天,也备份一个 RDB 文件。 这样的话,即使遇上问题,也可以随时将数据集还原到不同的版本。
  • RDB 非常适用于灾难恢复(disaster recovery):它只有一个文件,并且内容都非常紧凑,可以(在加密后)将它传送到别的数据中心,或者亚马逊 S3 中。
  • RDB 可以最大化 Redis 的性能:父进程在保存 RDB 文件时唯一要做的就是 fork 出一个子进程,然后这个子进程就会处理接下来的所有保存工作,父进程无须执行任何磁盘 I/O 操作。
  • RDB 在恢复大数据集时的速度比 AOF 的恢复速度要快。

RDB 的缺点

  • 如果你需要尽量避免在服务器故障时丢失数据,那么 RDB 不适合你。 虽然 Redis 允许你设置不同的保存点(save point)来控制保存 RDB 文件的频率, 但是, 因为RDB 文件需要保存整个数据集的状态, 所以它并不是一个轻松的操作。 因此你可能会至少 5 分钟才保存一次 RDB 文件。 在这种情况下, 一旦发生故障停机, 你就可能会丢失好几分钟的数据。
  • 每次保存 RDB 的时候,Redis 都要 fork() 出一个子进程,并由子进程来进行实际的持久化工作。 在数据集比较庞大时, fork()可能会非常耗时,造成服务器在某某毫秒内停止处理客户端; 如果数据集非常巨大,并且 CPU 时间非常紧张的话,那么这种停止时间甚至可能会长达整整一秒。 虽然 AOF 重写也需要进行 fork() ,但无论 AOF 重写的执行间隔有多长,数据的耐久性都不会有任何损失。

AOF 的优点

  • 使用 AOF 持久化会让 Redis 变得非常耐久(much more durable):你可以设置不同的 fsync 策略,比如无 fsync ,每秒钟一次 fsync ,或者每次执行写入命令时 fsync 。 AOF 的默认策略为每秒钟 fsync 一次,在这种配置下,Redis 仍然可以保持良好的性能,并且就算发生故障停机,也最多只会丢失一秒钟的数据( fsync 会在后台线程执行,所以主线程可以继续努力地处理命令请求)。
  • AOF 文件是一个只进行追加操作的日志文件(append only log), 因此对 AOF 文件的写入不需要进行 seek , 即使日志因为某些原因而包含了未写入完整的命令(比如写入时磁盘已满,写入中途停机,等等), redis-check-aof 工具也可以轻易地修复这种问题。
  • Redis 可以在 AOF 文件体积变得过大时,自动地在后台对 AOF 进行重写: 重写后的新 AOF 文件包含了恢复当前数据集所需的最小命令集合。 整个重写操作是绝对安全的,因为 Redis 在创建新 AOF 文件的过程中,会继续将命令追加到现有的 AOF 文件里面,即使重写过程中发生停机,现有的 AOF 文件也不会丢失。 而一旦新 AOF 文件创建完毕,Redis 就会从旧 AOF 文件切换到新 AOF 文件,并开始对新 AOF 文件进行追加操作。
  • AOF 文件有序地保存了对数据库执行的所有写入操作, 这些写入操作以 Redis 协议的格式保存, 因此 AOF 文件的内容非常容易被人读懂, 对文件进行分析(parse)也很轻松。 导出(export) AOF 文件也非常简单: 举个例子, 如果你不小心执行了 FLUSHALL 命令, 但只要 AOF 文件未被重写, 那么只要停止服务器, 移除 AOF 文件末尾的 FLUSHALL 命令, 并重启 Redis , 就可以将数据集恢复到 FLUSHALL 执行之前的状态。

AOF 的缺点

  • 对于相同的数据集来说,AOF 文件的体积通常要大于 RDB 文件的体积。
  • 根据所使用的 fsync 策略,AOF 的速度可能会慢于 RDB 。 在一般情况下, 每秒 fsync 的性能依然非常高, 而关闭 fsync 可以让 AOF 的速度和 RDB 一样快, 即使在高负荷之下也是如此。 不过在处理巨大的写入载入时,RDB 可以提供更有保证的最大延迟时间(latency)。
  • AOF 在过去曾经发生过这样的 bug : 因为个别命令的原因,导致 AOF 文件在重新载入时,无法将数据集恢复成保存时的原样。 (举个例子,阻塞命令 BRPOPLPUSH 就曾经引起过这样的 bug 。) 测试套件里为这种情况添加了测试: 它们会自动生成随机的、复杂的数据集, 并通过重新载入这些数据来确保一切正常。 虽然这种 bug 在 AOF 文件中并不常见, 但是对比来说, RDB 几乎是不可能出现这种 bug 的。

参考资料:

http://redisdoc.com/topic/persistence.html

http://redis.io/commands/expire

http://redis.io/topics/persistence 

http://oldblog.antirez.com/post/redis-persistence-demystified.html

http://redis.io/topics/memory-optimization

http://www.infoq.com/cn/articles/tq-redis-memory-usage-optimization-storage

http://redis.io/topics/lru-cache

转载于:https://my.oschina.net/u/914290/blog/710878

redis持久化、内存优化、过期、LRU内存相关推荐

  1. 高性能分布式缓存redis(持久化原理 安全策略 过期删除内存淘汰策略 性能压测 高可用 Redis Cluster)

    redis redis(持久化原理 安全策略 过期删除&内存淘汰策略 性能压测 高可用 Redis Cluster) 1. 持久化原理 1.1 持久化流程(落盘) 1.2 RDB详解 1.2. ...

  2. 【Android 内存优化】Bitmap 内存缓存 ( Bitmap 内存复用 | 弱引用 | 引用队列 | 针对不同 Android 版本开发不同的 Bitmap 复用策略 | 工具类代码 )

    文章目录 一.Bitmap 复用池 二.弱引用 Bitmap 内存释放 三.从 Bitmap 复用池中获取对应可以被复用的 Bitmap 对象 1.Android 2.3.3(API 级别 10)及以 ...

  3. 【Android 内存优化】Bitmap 内存缓存 ( Bitmap 缓存策略 | LruCache 内存缓存 | LruCache 常用操作 | 工具类代码 )

    文章目录 一.Bitmap 内存缓存策略 二.LruCache 内存缓存 三.LruCache 常用操作 四.LruCache 工具类 五.源码及资源下载 官方参考 : Google 官方提供的 内存 ...

  4. 【Android 内存优化】Java 内存模型 ( Java 虚拟机内存模型 | 线程私有区 | 共享数据区 | 内存回收算法 | 引用计数 | 可达性分析 )

    文章目录 一. Java 虚拟机内存模型 二. 程序计数器 ( 线程私有区 ) 三. 虚拟机栈 ( 线程私有区 ) 四. 本地方法栈 ( 线程私有区 ) 五. 方法区 ( 共享数据区 ) 1. 方法区 ...

  5. Android内存优化—Android的内存管理方式

    内存管理机制 从操作系统的角度来说,内存就是一块数据存储区域,属于可被操作系统调度的资源.现代多任务(进程)的操作系统中,内存管理尤为重要,操作系统需要为每一个进程合理的分配内存资源,所以可以从两方面 ...

  6. OpenGL加载纹理glGenTextures——内存优化(OpenGL内存泄漏)

    前言 先上图看我程序在加载纹理时,内存泄漏情况: 正常内存大小 5分钟内存泄漏情况 因为程序一直在接收二维数组(图像像素数据)然后实时绘制到界面,所以会一直加载纹理图像,OpenGL产生纹理id函数g ...

  7. SQL内存优化-最大化使用内存

    1. 重启sql server 第一步,打开记事本,输入下列2行命令: net stop mssqlserver net start mssqlserver 将其存为一个.bat的文件. 第二步,在W ...

  8. 内存优化(开启内存大页vm.nr_hugepages)

    大页内存(hugepages) 为优化内存管理引入了hugepages 可以自定义设置.将原来标准内存也4k设置为更大. hugepages 优点: 使得Oracle SGA 不可交换: 减轻 TLB ...

  9. 百度APP iOS端内存优化实践-大块内存监控方案

    ‍ 01 背景 ‍内存不足引发的APP崩溃通常称为OOM(Out Of Memory),iOS端无法捕获OOM异常,也得不到任何堆栈信息,给我们排查和解决问题带来很多困扰.引起OOM的原因归根结底就是 ...

  10. 【Android 内存优化】Bitmap 内存占用计算 ( Bitmap 图片内存占用分析 | Bitmap 内存占用计算 | Bitmap 不同像素密度间的转换 )

    文章目录 一.Bitmap 内存占用 二.Bitmap 内存占用计算示例 三.Bitmap 内存占用与像素密度 四.Bitmap 内存占用与像素密度示例 一.Bitmap 内存占用 在 Android ...

最新文章

  1. 无损压缩算法历史——熵编码是最早出现的,后来才有Lzx这些压缩算法
  2. Python自定义:粒子群优化算法
  3. 【知识图谱】知识图谱概论
  4. Spring + Mybatis 使用 PageHelper 插件分页
  5. 天池四月读书会|数据分析金融量化,6场直播,6位大咖,6个项目实战
  6. PIOLINK负载均衡高校应用
  7. 【赠书福利】不扶好眼镜,请别打开这本挑战JS语言特性的书
  8. OC Swift 走马灯效果
  9. [转]使用debugger调试JavaScript脚本
  10. innodb逻辑存储结构
  11. 【JZOJ4832】【NOIP2016提高A组集训第3场10.31】高维宇宙
  12. 华为 荣耀 等手机解锁BootLoader
  13. telink BDT 工具使用说明
  14. 网页qq邮箱链接html,使用QQ邮箱打开网页上的电子邮件链接
  15. matlab检验贝塔分布规律,贝塔分布背后的直觉:概率的概率分布
  16. 网络新文化现象:newbilitynbsp;(不代表…
  17. HTML标签关系——双标签和单标签,标签的嵌套与并列
  18. matlab2016a配置vs2013编译器
  19. WiFi_combo模组功耗数据
  20. matlab实现单(双)极性,Matlab实现单(双)极性(不)归零码

热门文章

  1. C#WinCE程序(.NET Compact Framework 3.5)项目重构面向抽象设计
  2. Vue的computed(计算属性)使用实例之TodoList
  3. Cookie 和 Session机制具体解释
  4. 《嵌入式系统开发之道——菜鸟成长日志与项目经理的私房菜》——01-05 基本职能:老鸟也曾是菜鸟...
  5. java string常见操作题
  6. SQL Serve权限管理
  7. Struts2(补充)
  8. 线程创建 pthread_create 中自定义参数注意事项
  9. 嵌入式Linux之旅——环境搭建篇之烧写整个系统
  10. 在 OSX 10.9.4 上编译安装 FastDFS 及其 PHP 扩展