redis 是一个支持持久化的内存数据库,也就是说redis 需要经常将内存中的数据同步到磁盘
来保证持久化。redis 支持两种持久化方式,一种是Snapshotting(快照)也是默认方式,另
一种是Append-only file(缩写aof)的方式。下面分别介绍:

一、snapshotting 方式

快照是默认的持久化方式。这种方式是就是将内存中数据以快照的方式写入到二进制文件中,
默认的文件名为dump.rdb。可以通过配置设置自动做快照持久化的方式。

我们可以配置redis在n 秒内如果超过m 个key 被修改就自动做快照,

下面是默认的快照保存配置

save 900 1 #900 秒内如果超过1 个key 被修改,则发起快照保存
save 300 10 #300 秒内容如超过10 个key 被修改,则发起快照保存
save 60 10000

下面介绍详细的快照保存过程:
1、redis 调用fork,现在有了子进程和父进程。
2.、父进程继续处理client 请求,子进程负责将内存内容写入到临时文件。由于os 的实时复
制机制(copy on write)父子进程会共享相同的物理页面,当父进程处理写请求时os 会为父
进程要修改的页面创建副本,而不是写共享的页面。所以子进程地址空间内的数据是fork

时刻整个数据库的一个快照。

3、当子进程将快照写入临时文件完毕后,用临时文件替换原来的快照文件,然后子进程退出。
client 也可以使用save 或者bgsave 命令通知redis 做一次快照持久化。save 操作是在主线程
中保存快照的,由于redis 是用一个主线程来处理所有client 的请求,这种方式会阻塞所有
client 请求。所以不推荐使用。另一点需要注意的是,每次快照持久化都是将内存数据完整
写入到磁盘一次,并不是增量的只同步变更数据。如果数据量大的话,而且写操作比较多,
必然会引起大量的磁盘io 操作,可能会严重影响性能。

下面将演示各种场景的数据库持久化情况

首先在redis.conf配置文件中配置log日志

然后我们进行如下操作:

查看日志文件

从日志可以看出,数据库做了一个存盘的操作,将内存的数据写入磁盘了。正常的话,磁盘
上会产生一个dump 文件,用于保存数据库快照,我们来验证一下:

硬盘上已经产生了一个数据库快照了。这时侯我们再将redis 启动,看键值还是否真的持久
化到硬盘了。

二、aof方式

另外由于快照方式是在一定间隔时间做一次的,所以如果redis 意外down 掉的话,就会丢
失最后一次快照后的所有修改。如果应用要求不能丢失任何修改的话,可以采用aof 持久化
方式。

下面介绍Append-only file:
aof 比快照方式有更好的持久化性,是由于在使用aof 持久化方式时,redis 会将每一个收到
的写命令都通过write 函数追加到文件中(默认是appendonly.aof)。当redis 重启时会通过重
新执行文件中保存的写命令来在内存中重建整个数据库的内容。

当然由于os 会在内核中缓存 write 做的修改,所以可能不是立即写到磁盘上。这样aof 方式的持久化也还是有可能会丢失部分修改。

不过我们可以通过配置文件告诉redis 我们想要通过fsync 函数强制os 写入
到磁盘的时机。有三种方式如下(默认是:每秒fsync 一次)

appendonly yes #启用aof 持久化方式
appendfsync always #收到写命令就立即写入磁盘,最慢,但是保证完全的持久化
appendfsync everysec #每秒钟写入磁盘一次,在性能和持久化方面做了很好的折中
appendfsync no #完全依赖os,性能最好,持久化没保证

接下来我们以实例说明用法:

修改配置文件:

进行一下操作:

我们先设置2 个键值对,然后我们看一下系统中有没有产生appendonly.aof 文件

结果证明产生了,接着我们将redis 再次启动后来看一下数据是否还在

数据还存在系统中,说明系统是在启动时执行了一下从磁盘到内存的load 数据的过程。

aof 的方式也同时带来了另一个问题。持久化文件会变的越来越大。例如我们调用incr test
命令100 次,文件中必须保存全部的100 条命令,其实有99 条都是多余的。因为要恢复数
据库的状态其实文件中保存一条set test 100 就够了。为了压缩aof 的持久化文件。redis 提
供了bgrewriteaof 命令。收到此命令redis 将使用与快照类似的方式将内存中的数据以命令
的方式保存到临时文件中,最后替换原来的文件。具体过程如下
1、redis 调用fork ,现在有父子两个进程
2、子进程根据内存中的数据库快照,往临时文件中写入重建数据库状态的命令

3、父进程继续处理client 请求,除了把写命令写入到原来的aof 文件中。同时把收到的写命
令缓存起来。这样就能保证如果子进程重写失败的话并不会出问题。
4、当子进程把快照内容写入已命令方式写到临时文件中后,子进程发信号通知父进程。然
后父进程把缓存的写命令也写入到临时文件。
5、现在父进程可以使用临时文件替换老的aof 文件,并重命名,后面收到的写命令也开始
往新的aof 文件中追加。
需要注意到是重写aof 文件的操作,并没有读取旧的aof 文件,而是将整个内存中的数据库
内容用命令的方式重写了一个新的aof 文件,这点和快照有点类似。接来我们看一下实际的例
子:
我们先调用5 次incr age 命令:

接下来我们看一下日志文件的大小

大小为533 个字节,接下来我们调用一下bgrewriteaof 命令将内存中的数据重新刷到磁盘的
日志文件中

再看一下磁盘上的日志文件大小

日志文件大小变为84 个字节了,说明原来日志中的重复记录已被刷新掉了。

转载于:https://blog.51cto.com/janephp/1340039

Redis实战(11)高级特性(3)持久化相关推荐

  1. Redis 基础、高级特性与性能调优 | 高薪必备

    来源:http://c7.gg/fxqAK 本文将从Redis的基本特性入手,通过讲述Redis的数据结构和主要命令对Redis的基本能力进行直观介绍.之后概览Redis提供的高级能力,并在部署.维护 ...

  2. 高薪必备|Redis 基础、高级特性与性能调优

    点击▲关注 "数据和云"   给公众号标星置顶 更多精彩 第一时间直达 本文将从Redis的基本特性入手,通过讲述Redis的数据结构和主要命令对Redis的基本能力进行直观介绍. ...

  3. Redis基础、高级特性与性能调优

    点击上方 "编程技术圈"关注, 星标或置顶一起成长 后台回复"大礼包"有惊喜礼包! 每日英文 Life is too short to spend time r ...

  4. MapReduce编程实战之“高级特性”

    本篇介绍MapReduce的一些高级特性,如计数器.数据集的排序和连接.计数器是一种收集作业统计信息的有效手段,排序是MapReduce的核心技术,MapReduce也能够执行大型数据集间的" ...

  5. redis学习篇(十)-----高级特性之持久化处理

    2019独角兽企业重金招聘Python工程师标准>>> redis是基于内存的数据库.基于内存的数据库速度虽然快,但是却有一个严重的弊端:当服务器突然宕机或者断电时,内存里的数据都会 ...

  6. Redis实战 - 11 Redis GEO 实现附近的人功能

    各种社交软件里面都有附件的人的需求,在该应用中,我们查询附近1公里的食客,同时只需查询出20个即可. 文章目录 1. Redis GEO常用命令 2. 上传用户地理位置 1. RedisKeyCons ...

  7. python 11高级特性

    切片 取列表中前3个元素我们常见的方法有两种: [L[0],L[1],L[2]] 采用循环的方式如下图所示. 对这种经常取指定索引范围的操作,用循环十分繁琐,因此,Python提供了切片(Slice) ...

  8. Redis基础用法、高级特性与性能调优以及缓存穿透等分析

    目录 一.Redis介绍 二.Redis数据结构及常用的命令 三.Redis持久化策略选择 四.内存管理与数据淘汰机制 五.Redis过期策略及实现原理 1  说明 2  设置过期时间 3  三种过期 ...

  9. Redis高级特性介绍及实例分析

    本文将为大家介绍Redis的一些高级特性以及结合一个具体的实际案例来对Redis进行设计分析. Redis基础类型回顾 String Redis中最基本,也是最简单的数据类型.注意,VALUE既可以是 ...

  10. 一文通透讲解Redis高级特性,多线程/持久化/淘汰机制等统统搞定

    Redis 是一个开源的,基于内存的可持久化的非关系型数据库存储系统.在实际项目中可以用 Redis 做缓存或消息服务器,Redis 也是目前互联网中使用比较广泛的非关系型数据库,下面就来深入分析Re ...

最新文章

  1. C# 特性(Attribute)学习。
  2. java三维滑雪,第六章 三维数据空间分析方法.ppt
  3. Datawhale组队学习周报(第018周)
  4. BS-XX-007基于JSP实现户籍管理系统
  5. Github远程仓库管理
  6. 易生信极高性价比暑期黑马集训 -- 低至2500每人
  7. 普通电脑能做成瘦客户机吗_阿里云的“无影”云电脑,能不能真的代替传统电脑...
  8. 微信java创建菜单_微信自定义菜单的创建(JAVA版)
  9. loj10135. 「一本通 4.4 练习 2」祖孙询问
  10. 学习spring第一天
  11. 重磅|如何利用NBA球员推文预测其球场表现?
  12. Linux手动安装JDK并配置多个版本JDK--JDK配置和Jenv的配置使用
  13. 大家都在学Python,你和别人的差距在哪?
  14. px rpx pt em rem单位
  15. Pattern Recognition期刊投稿经验
  16. 确定sw1开关信号输入端口_三菱PLC入门 | FX2N系列PLC的信号输入端子接线(图文详解)...
  17. 免费银行卡验证API接口
  18. 网络图如何用计算机计算方法,工程网络图时间参数最简单计算方法.doc
  19. but no encoding declared错误的解决方法
  20. IT审计质量控制评价和改进实践

热门文章

  1. Java 质数输出的经典算法题面试可以用
  2. mysql中delete,truncate,drop区别
  3. ios html转json,iOS 中 Model 和 JSON 互相转换
  4. 添加组件_苹果ios14怎么添加删除小组件 小组件叠放添加设置教程
  5. spring boot 教程(三)配置详解
  6. 协议栈Protocol stack入门
  7. TCP模块如何处理数据包
  8. MySQL是怎么保证主备一致的?
  9. 斐波那契数列的时间复杂度
  10. idea 报错is already defined as class