什么是Redis的持久化

我们知道Redis的数据都存储在内存中,如果服务器突然宕机,那么内存数据将会全部消失,为了防止这种情况出现,利用一套机制来保证数据不会因为故障而丢失,我们将这种机制称之为Redis的持久化机制,该机制主要目的是将内存数据存入到硬盘

Redis 提供两种持久化机制RDB(Redis DataBase)和AOF(Append-Only File)机制。

RDB-快照

快照是最简单的Redis持久化模式,也就是生成某个时间点的数据集,生成RDB文件,可以看到RDB文件中的数据是非常紧凑的,所以在恢复数据的时候读取也是非常快的

触发RDB快照的方式有两种

手动触发

通过手动执行bgsave/save,显示触发生成快照

  • save命令:阻塞当前Redis服务器,直到RDB过程完成为止,对于内存 比较大的实例会造成长时间阻塞,线上环境不建议使用

  • bgsave命令:Redis进程执行fork操作创建子进程,RDB持久化过程由子 进程负责,完成后自动结束。阻塞只发生在fork阶段,一般时间很短

配置参数自动触发

自动触发有以下几种情况:

  • 使用save相关配置,命令save m n。表示m秒内数据集存在n次修改时,自动触发bgsave
  • 从节点执行全量复制操作,主节点自动执行bgsave生成RDB文件发送给从节点
  • 执行debug reload命令重新加载Redis时,自动触发save命令
  • 执行shutdown命令时,如果没有开启AOF持久化功能自动执行bgsave

注意:在RDB持久化的过程中有两个问题需要考虑

  1. RDB快照过程中Redis是否会停止对外提供服务
  2. 如果没有停止服务,如何处理新的请求

针对上述问题我们先看一下RDB的持久化执行流程

根据上图我们可以看到主线程主要是fork一个子线程来进行持久化操作,同时父子线程会共享一个数据区域,而且该区域设置为read-only方式,该方式下读的时候没有问题,但是写的时候会触发copyonwrite机制来进行,接下来我们看看什么是 COW(Copy On Write) 机制 。

COW(Copy On Write) 机制

COW(Copy On Write) 机制属于操作系统处理多进程下的一种机制,Redis在持久化的时候会调用glibc函数fork一个子进程。父子进程会共享内存里面的代码段和数据段。

所以持久化的时候是完全交给子进程,而父进程继续处理客户端请求,所以在持久化的时候操作系统采用COW机制进程数据段页面的分离。数据段是由很多操作系统的页面组合而成,当父进程对其中一个页面进行数据修改的时候,先将被父子线程共享的这一个页面复制并分离出来,然后直接对复制的页面进程修改,而此时子进程对应的页面是没有修改的。

Redis采用该机制的简单流程如下。Lunix在fork之后,操作系统会将父进程的所有内存也权限设置为read-only,然后子进程的地址空间指向父进程。当父进程只读时没有问题,当有写内存时,CPU硬件检测到内存也是read-only,于是会触发页异常中断(page-fault),陷入到操作系统的一个中断例程。中断例程中,操作系统采用cow机制会触发异常的也复制一份,于是父子进程各自持有独立的一份,如果这个时候又大量写入操作,会产生大量的分页错误(页异常中断page-fault),从而触发cow机制。

之所以称之为快照也就是说在子进程创建的那一时刻开始。内存的数据就固定下来了,不会发生变化。

RDB的优缺点

优点:
  1. 性能最大化,fork子进程来完成写操作,让主进程继续处理命令,保证了redis的高性能
  2. 重启恢复数据的时候。数据量比较大时候,Redis直接解析RDB二进制文件,生成对应的数据存储在内存中,比AOF的启动效率更高
缺点
  1. 数据安全性低,因为是间隔一段时间进行持久化,如果在持久化之间发生了故障,会丢失数据,这也就决定了该方式更适合在数据要求不严谨的时候采用
  2. 系统性能耗费,根据上文提到的Redis执行cow机制时,可以看到大量的分页错误会耗费不少性能在复制上

AOF(Append Only File - 仅追加文件)

根据上文,快照在某些情况下不是可行的选择,所以AOF很好的支持了。

AOF 原理

该方式非常简单:也就是修改内存的操作命令都会记录下来,加入AOF日志记录都是Redis实例创建以来的所有修改性指令序列,所以恢复也就是顺序执行所有执行。

Redis使用单线程相应命令,如果每次写AOF文件命令都追加到硬盘,会极大地影响处理性能,所以Redis会先写入到aof缓冲区,根据用户配置的同步硬盘策略写入到aof文件中,这个策略可以通过appendfsync参数配置

  • always:每一次写操作都会调用一次fsync,这时数据是最安全的,当然,由于每次都会执行fsync,所以其性能也会受到影响
  • no:Redis不会主动调用fsync去将AOF日志内容同步到磁盘,所以这一切就完全依赖于操作系统的调试了。对大多数Linux操作系统,是每30秒进行一次fsync,将缓冲区中的数据写到磁盘上。
  • everysec:Redis会默认每隔一秒进行一次fsync调用,将缓冲区中的数据写到磁盘。但是当这一次的fsync调用时长超过1秒时。Redis会采取延迟fsync的策略,再等一秒钟。也就是在两秒后再进行fsync,这一次的fsync就不管会执行多长时间都会进行。这时候由于在fsync时文件描述符会被阻塞,所以当前的写操作就会阻塞。

注意,这也是影响Redis性能的参数之一,建议采用 appendfsync everysec(缺省方式)

AOF重写

所谓重写,Redis在长期运行过程中日志会越来越大,在恢复的时候会非常好使,所以我们的目的就是对日志做瘦身

会从以下几点做瘦身:

  1. 无效命令可以删除,比如del key1、hdel key2、srem keys、set a111、set a222等,直接用最终的数据生成命令保存下来就行
  2. 多条命令可以删除,如:lpush list a、lpush list b、lpush list c可以转化为:lpush list a b c
  3. 等等,就不列举了

Redis使用bgrewriteaof指令做瘦身,主要也是开辟一个子进程对内存遍历转化为一系列指令,并序列化到新的文件中,接下来再将操作期间的增量AOF日志追加到新的日志文件中,最终替换了旧的。

AOF重写机制两种方式触发

  1. 手动触发:bgrewriteaof指令
  2. 自动触发:根据auto-aof-rewrite-min-size和auto-aof-rewrite-percentage参数确定自动触发时机
  • auto-aof-rewrite-min-size:表示运行AOF重写时文件最小体积,默认为64MB。

  • auto-aof-rewrite-percentage:代表当前AOF文件空间 (aof_current_size)和上一次重写后AOF文件空间(aof_base_size)的比值。

auto-aof-rewrite-min-size    100auto-aof-rewrite-percentage  64mb复制代码

如上代表AOF文件的大小小于64mb(默认值),且当前AOF文件大小比基准大小增长了100%时会触发。

AOF优缺点

优点

数据安全,aof持久化配置appendfsync属性,有always,每执行一次命令操作就记录到aof文件一次

缺点

数据集大的时候,比如RDB启动效率低

混合持久化(Redis 4.0版本)

我们根据上文知道,RDB恢复会存在大量数据,AOF恢复性能又较慢,所以在Redis4.0中,采用混合持久化,将RDB文件内存和增量的AOF日志文件放在一起,这里的AOF日志不再是全量日志。而是自持久化开始到持久化结束的这段时间的增量日志,通常较小,重启效率因此大幅得到提升

加载的时候,首先会识别AOF文件是否以REDIS字符串开头,如果是就按照RDB格式加载,加载完成后继续按AOF加载剩余的部分

总结

总体来说,如果你想转行从事程序员的工作,Java开发一定可以作为你的第一选择。但是不管你选择什么编程语言,提升自己的硬件实力才是拿高薪的唯一手段。

如果你以这份学习路线来学习,你会有一个比较系统化的知识网络,也不至于把知识学习得很零散。我个人是完全不建议刚开始就看《Java编程思想》、《Java核心技术》这些书籍,看完你肯定会放弃学习。建议可以看一些视频来学习,当自己能上手再买这些书看又是非常有收获的事了。

这些视频如果需要的话,可以无偿分享给大家,点击这里即可免费领取

Java核心技术》这些书籍,看完你肯定会放弃学习。建议可以看一些视频来学习,当自己能上手再买这些书看又是非常有收获的事了。

这些视频如果需要的话,可以无偿分享给大家,点击这里即可免费领取

深入浅出mysql第三版pdf百度云,工作感悟相关推荐

  1. python基础教程第三版电子版百度云-《python基础教程第三版》高清版PDF免费下载...

    下载地址1:http://t.cn/EGxO1sW Python基础教程 第3版Python简明教程书籍 Python编程从入门到实践 灵程序设计丛书 <python基础教程第三版>高清版 ...

  2. 利用python进行数据分析第二版pdf百度云_参考《利用Python进行数据分析(第二版)》高清中文PDF+高清英文PDF+源代码...

    第2版针对Python 3.6进行全面修订和更新,涵盖新版的pandas.NumPy.IPython和Jupyter,并增加大量实际案例,可以帮助高效解决一系列数据分析问题. 第2版中的主要更新了Py ...

  3. c#入门经典第8版 pdf百度云_C#入门经典 第6版 高清 电子书 下载 pdf [(美)沃森等著][清华大学出版社] sample...

    Tech By APP开发 联系我们:  手机版 本站仅提供盘多多如风搜和盘搜搜以及小说网笔趣阁的资源搜索服务,不存放任何实质内容.如有侵权内容请联系百度云盘或新浪微盘,源资源删除后本站的链接将自动失 ...

  4. 《Spring实战》读书笔记-第6章 渲染Web视图,java基础入门第二版pdf百度云

    Spring提供了两种支持JSP视图的方式: InternalResourceViewResolver会将视图名解析为JSP文件.另外,如果在你的JSP页面中使用了JSP标准标签库(JavaServe ...

  5. Quartz简介,java编程思想第四版pdf百度云

    Quartz是免费使用的,并根据Apache 2.0许可获得许可. Quartz 是 OpenSymphony 开源组织在任务调度领域的一个开源项目,完全基于 Java 实现.该项目于 2009 年被 ...

  6. 三十天学会绘画pdf_【推荐】30天学会绘画pdf百度云下载|30天学会绘画电子版!...

    原标题:[推荐]30天学会绘画pdf百度云下载|30天学会绘画电子版! 30天学会绘画pdf百度云下载|30天学会绘画电子版!30天学会绘画pdf百度云下载|30天学会绘画电子版! 关注公众号:每日学 ...

  7. 第一行代码-android-第三版-pdf扫描-思维导图-课件-源码

    第一行代码-android-第三版-pdf扫描-思维导图-课件-源码 一帮公众号各种要你关注, 各种压缩包层层套娃要密码, 还要进群, 真他妈日了gou了,找了半天 分享给大家, 毫无套路! pdf扫 ...

  8. sql数据库教程百度云_绘画自学零基础入门教程|五天学会绘画pdf百度云下载!...

    绘画自学零基础入门教程|五天学会绘画pdf百度云下载!画画是可以让人留存记忆的事情.我自己就很喜欢画画来记录生活中一些特别的日子.场景还有我的家人朋友们.有时候,比照片更有故事感和纪念意义-有空拿出来 ...

  9. LINUX设备驱动程序第三版.pdf,linux设备驱动程序第3版.pdf免费下载链接,学习资源下载

    LINUX设备驱动程序第三版.pdf免费下载链接(.pdf书籍的优点是便于直接在电脑中保存有电脑就可以阅读,如果觉得这本书给你提供到了很大的帮助,可以去书店补一本纸质版) 资源保存在腾讯微云上,下载不 ...

  10. MySQL各种优化基于《高性能MySQL第三版》

    [TOC] MySQL各种优化 查询优化 查询优化器模块 查询优化器的任务是发现执行 SQL 查询的最佳方案.大多数查询优化器,要么基于规则.要么基于成本. 大多数查询优化器,包含 MySQL 的查询 ...

最新文章

  1. Linux命令技巧之30个必会的命令技巧
  2. java web.xml_Java Web之XML基础
  3. 集团化后的挚文还有很多“新故事”可以讲
  4. C++以二进制形式生成介于1到N之间的数字的算法(附完整源码)
  5. 这个避孕套让生活更和谐……
  6. Qt新添加的类无法链接
  7. IntelliJ IDEA代码常用的快捷键(自查)
  8. mysql 表上限_mysql 数据库表的上限
  9. TVM:交叉编译和RPC
  10. CSS 加过渡效果transition
  11. 如何用Java打出DNA图案_DNA (Java代码)
  12. CCF201604-1 折点计数
  13. awk处理带有空格的字符串_五分钟入门文本处理三剑客grep awk sed
  14. php3.2接口分页,thinkphp3.2.3分页完整实例
  15. win10 同时多用户远程桌面连接-RDPWrap-v1.6.2-support-21H2-19044.1949
  16. 【re】python正则表达式的用法汇总 + 使用正则表达式提取不让复制的网页的文本内容!
  17. 五、中枢背驰及盘整背驰
  18. 视频加水印的软件有哪些?这几款软件可以无痕去水印
  19. 迅雷插件会导致IE8假死
  20. 分布式存储引擎大厂实战——一文了解分布式存储的可靠性

热门文章

  1. html+css入门(参考b站黑马
  2. 计算机c盘如何扩容,C盘满了怎么办?电脑C盘扩容图文教程-电脑教程
  3. C语言求1000以内完数
  4. windows下Redis多实例部署
  5. 未找到uniwebview_unity内嵌浏览器——UniWebView插件
  6. H264视频压缩算法简析
  7. python 模拟自己的手写字体
  8. 解析音视频网络传输技术之一
  9. 【教程向】如何用L298N电机驱动模块与Arduino实现PWM调速
  10. 数据结构课程设计-通讯录管理系统(C语言版)