quartz持久化是指_面试必问:Redis 持久化是如何做的?RDB 和 AOF 对比分析
- 数据持久化
- 主从复制
- 自动故障恢复
集群化
这篇文章我们先介绍Redis的高可用保障的基础:数据持久化。因为Redis的主从复制和自动故障恢复,都需要依赖Redis持久化相关的东西。同时,Redis的数据持久化也可以用来做数据备份,用来保障数据的安全性。
Redis是一个内存数据库,它的数据都保存在内存中,如果实例宕机,那么数据则全部丢失。如何保证数据的完整性和安全性也是提高服务高可用的重要机制之一。
Redis提供了完善的持久化机制,可以把内存中的数据持久化到磁盘上,方便我们进行备份数据和快速恢复数据。
这篇文章我们就来分析Redis的数据持久化是如何实现的?我们经常听的RDB和AOF有什么区别?以及它们不同的使用场景。
数据持久化
Redis提供的数据持久化方式主要有2种:
- RDB:产生一个数据快照文件
- AOF:实时追加命令的日志文件
它们分别对应了不同的使用场景,下面我们就来依次分析。
一、RDB
1、介绍
RDB全称Redis Database Backup file
(Redis数据备份文件),也被叫做Redis数据快照。
我们可以通过执行save
或bgsave
命令让Redis在本地生成RDB快照文件,这个RDB文件包含了整个实例接近完整的数据内容。
它的优点如下:
- RDB文件数据是被压缩写入的,因此RDB文件的体积要比整个实例内存要小
当实例宕机恢复时,加载RDB文件的速度很快,能够在很短时间内迅速恢复文件中的数据
它的缺点也很明显:
- 由于是某一时刻的数据快照,因此它的数据并不全
生成RDB文件的代价是比较大的,它会消耗大量的CPU和内存资源
因此RDB比较适用于以下场景:
- 主从全量同步数据
- 数据库备份
对于丢失数据不敏感的业务场景,实例宕机后快速恢复数据
Redis主从全量同步数据就是使用RDB文件进行的,我们会在后面的文章详细讲到。
由此可以看出,RDB非常适合做数据备份,我们可以定时让Redis生成RDB文件,然后备份这个快照文件即可。
2、定时生成RDB
Redis也提供了定时触发生成RDB文件的配置项:
# 最近15分钟内 至少产生1次写入save 900 1# 最近5分钟内 至少产生10次写入save 300 10# 最近1分钟内 至少产生10000次写入save 60 10000
如果达到以上任意条件,则Redis会自动生成新的RDB文件,降低RDB数据内容与实例数据的差异。
3、Copy On Write
在Redis上执行save
和bgsave
命令都可以生成RDB文件,但前者是在前台执行的,也就是说在生成RDB文件时,会阻塞整个实例,在RDB未生成之前,任何请求都是无法处理的,对于内存很大的实例,生成RDB文件非常耗时,显然这是我们不能接受的。
所以通常我们会选择执行bgsave
让Redis在后台生成RDB文件,这样Redis依旧可以处理客户端请求,不会阻塞整个实例。
但不是说后台生成RDB就是没有代价的,Redis为了实现后台把内存数据的快照写入文件,采用了操作系统提供的Copy On Write
技术,也就是我们熟知的fork
系统调用。
fork
系统调用会产生一个子进程,它与父进程共享相同的内存地址空间,这样子进程在这一时刻就能拥有与父进程的相同的内存数据。
虽然子进程与父进程共享同一块内存地址空间,但在fork
子进程时,操作系统需要拷贝父进程的内存页表给子进程,如果整个Redis实例内存占用很大,那么它的内存页表也会很大,在拷贝时就会比较耗时,同时这个过程会消耗大量的CPU资源。在完成拷贝之前父进程也处于阻塞状态,无法处理客户端请求。
fork
执行完之后,子进程就可以扫描自身所有的内存数据,然后把全部数据写入到RDB文件中。
之后父进程依旧处理客户端的请求,当在处理写命令时,父进程会重新分配新的内存地址空间,从操作系统申请新的内存使用,不再与子进程共享,这个过程就是Copy On Write
(写实复制)名字的由来。这样父子进程的内存就会逐渐分离,父进程申请新的内存空间并更改内存数据,子进程的内存数据不受影响。
由此可以看出,在生成RDB文件时,不仅消耗CPU资源,还有需要占用最多一倍的内存空间。
我们在Redis执行info
命令,可以看到fork
子进程的耗时,可以通过这个耗时来评估fork
时间是否符合预期。同时我们应该保证Redis机器拥有足够的CPU和内存资源,并合理设置生成RDB的时机。
二、AOF
1、介绍
AOF全称为Append Only File
(追加日志文件)。它与RDB不同的是,AOF中记录的是每一个命令的详细信息,包括完整的命令类型、参数等。只要产生写命令,就会实时写入到AOF文件中。
我们可以通过配置文件开启AOF:
# 开启AOFappendonly yes# AOF文件名appendfilename "appendonly.aof"# 文件刷盘方式appendfsync everysec
2、刷盘方式
开启AOF后,Redis会把每个写操作的命令记录到文件并持久化到磁盘中,为了保证数据文件的安全性,Redis还提供了文件刷盘的时机:
appendfsync always
:每次写入都刷盘,对性能影响最大,占用磁盘IO比较高,数据安全性最高appendfsync everysec
:1秒刷一次盘,对性能影响相对较小,节点宕机时最多丢失1秒的数据appendfsync no
:按照操作系统的机制刷盘,对性能影响最小,数据安全性低,节点宕机丢失数据取决于操作系统刷盘机制
以上可以看出AOF相对于RDB的优点是,AOF数据文件更新比较及时,比RDB保存更完整的数据,这样在数据恢复时能够恢复尽量完整的数据,降低丢失数据的风险。
如果同时存在RDB文件和AOF文件,Redis会优先使用AOF文件进行数据恢复。
但它的缺点也很易见:
- 随着时间增长,AOF文件会越来越大
AOF文件刷盘会增加磁盘IO的负担,可能影响Redis的性能(开启每秒刷盘时)
3、AOF重写
针对第一种情况,Redis提供了AOF瘦身的功能,可以设置在AOF文件很大时,自动触发AOF重写,Redis会扫描整个实例的数据,重新生成一个AOF文件达成瘦身的效果。但这个重写过程也需要消耗大量的CPU资源。
# AOF文件距离上次文件增长超过多少百分比则触发重写auto-aof-rewrite-percentage 100# AOF文件体积最小多大以上才触发重写auto-aof-rewrite-min-size 64mb
由于AOF可以最大可能降低丢失数据的风险,所以它一般适用于对丢失数据很敏感的业务场景,例如涉及金钱交易的业务。
4、性能影响
如果AOF的刷盘时机设置为每次写入都刷盘,那么会大大降低Redis的写入性能,因为每次写命令都需要写入文件并刷到磁盘中才会返回,当写入量很大时,会增加磁盘IO的负担。
性能与数据安全不能兼得,虽然Redis提供了实时刷盘的机制,但是在真正场景中使用的不多。
通常我们会选择每秒刷盘这种方式,既能保证良好的写入性能,在实例宕机时最多丢失1秒的数据,做到性能和安全的平衡。
总结
我们对RDB和AOF的总结如下表。
# | RDB | AOF |
---|---|---|
持久化方式 | 生成某一时刻的数据快照文件 | 实时记录每一个写命令到文件 |
数据完整性 | 不完整,取决于备份周期 | 相对完整性高,取决于文件刷盘方式 |
文件大小 | 压缩二进制写入,文件较小 | 原始的操作命令,文件大 |
宕机恢复时间 | 快 | 慢 |
恢复优先级 | 低 | 高 |
持久化代价 | 高,消耗大量CPU和内存 | 低,只占用磁盘IO资源 |
使用场景 | 数据备份、主从全量复制、对丢数据不敏感的业务场景快速数据恢复 | 对于丢失数据敏感的场景,例如涉及金钱交易相关的业务 |
我们需要针对不同的业务场景选择合适的持久化方式,也可以根据RDB和AOF的优点配合使用,保证Redis数据的安全性,又可以兼顾它的性能。
作者:Kaito
kaito-kidd.com/2020/06/29/redis-persistence-rdb-aof/
往期精选
Spring Boot 集成 Quartz 实现定时任务的动态创建、启动、暂停、恢复、删除等操作
IntelliJ IDEA 15款 神级超级牛逼插件推荐(自用,真的超级牛逼)
2020年最新 JDK 15 版本新特性介绍,突然感觉 JDK 8 不香了!
盘点那些最常用的 Linux 命令,都应该记熟!
华为鸿蒙 OS 尝鲜,跑了个 “hello world”!跑通后,我特么开始怀疑人生...
最全面 Mybatis 框架核心配置文件使用总结,值得收藏
如何设计类似 QQ、微信等第三方账号登录 ?(附表结构)
一款免费数据库管理工具,比 Navicat 更好有用,功能更强大,强烈推荐!
Redis如何实现故障自动恢复?浅析哨兵的工作原理
为什么 MySQL 不推荐使用 uuid 或者雪花 id 作为主键?
点个赞,就知道你“在看”!
quartz持久化是指_面试必问:Redis 持久化是如何做的?RDB 和 AOF 对比分析相关推荐
- linux 关闭redis 命令_面试必问的 Redis:RDB、AOF、混合持久化
前言 本来说 Redis 分3篇,但是上周写持久化时发现持久化的内容还越多的,于是持久化就单拆一篇了. 我估计后面的主从复制.哨兵.集群内容也是不少,所以说实话,我也不知道之前说的3篇会拆成几篇了 持 ...
- java语言特点 字符串不变_面试必问:Java中String类型为什么设计成不可变的?
这几天在各大平台上都看到过这样一些帖子,全都是关于String类型对象不可变的问题,当然现在也是找工作的准备时期,因此花了一部分时间对其进行整理一下. 想要完全了解String,在这里我们需要解决以下 ...
- java中数组的返回值是什么类型_面试必问:Java中String类型为什么设计成不可变的?...
这几天在各大平台上都看到过这样一些帖子,全都是关于String类型对象不可变的问题,当然现在也是找工作的准备时期,因此花了一部分时间对其进行整理一下. 想要完全了解String,在这里我们需要解决以下 ...
- long 转为string_面试必问 Redis数据结构底层原理String、List篇
点击关注上方"Java大厂面试官",第一时间送达技术干货. 阅读文本大概需要 8 分钟. 前言 今天来整理学习下Redis有哪些常用数据结构,都是怎么使用的呢?首先看下全局存储结构 ...
- 为什么一线大厂面试必问redis,有啥好问的?
本文涉及:Redis的优势.Redis高频面试题汇总.Redis的基础使用.持久化.主从复制.高可用 速度快 纯内存操作,速度可想而知 C语言实现,天生的跟操作系统有亲戚 单线程架构,无并发问题,避免 ...
- Redis学习总结(21)——Redis持久化是如何做的?RDB和AOF对比分析
前言 Redis要想实现高可用,主要有以下方面来保证: 数据持久化 主从复制 自动故障恢复 集群化 Redis的高可用保障的基础:数据持久化.因为Redis的主从复制和自动故障恢复,都需要依赖Redi ...
- hystrix原理_面试必问的SpringCloud实现原理图
引言 面试中面试官喜欢问组件的实现原理,尤其是常用技术,我们平时使用了SpringCloud还需要了解它的实现原理,这样不仅起到举一反三的作用,还能帮助轻松应对各种问题及有针对的进行扩展. 以下是&l ...
- activemq消息丢失_面试必问之消息中间件
1. 的几种通信方式 publish(发布)-subscribe(订阅)(发布-订阅方式) 发布/订阅方式用于多接收客户端的方式.作为发布订阅的方式,可能存在多个 接收客户端,并且接收端客户端与发送客 ...
- 为什么不用mysql版本号加锁_面试必问的Mysql事务和锁,你真的了解吗?
前言 本文内容 事务的定义和作用,隔离级别 MVCC 是什么,快照读和加锁读 锁分类,行锁,意向锁,怎么查看 Mysql 锁的信息 悲观锁和乐观锁的使用场景 Mysql 的版本为 8.0.17. 事务 ...
最新文章
- linux环境安全测评实验报告,linux第一次实验报告
- ant导入Zookeeper到Eclipse错误path contains invalid character
- JAVA的知识点3——浮点数的相关处理
- AES在线加密解密-附AES128,192,256,CBC,CFB,ECB,OFB,PCBC各种加密
- mysql 学习笔记 多表查询02
- 容器编排技术 -- Kubernetes 调试 Service
- php时间函数引入,PHP日期和时间函数的使用示例详解
- 人工智能导论 王万良教授_FCES2019 panel4:人工智能的第一堂课究竟讲什么?
- keil5调试如何选择晶振_有源晶振的负载电容重要吗?
- 深度学习实例——Keras实现手写数字识别
- 【Sniffer】如何查看Sniffer截获的数据内容
- CodeForces 518E Arthur and Questions(贪心 + 思维)题解
- 98五笔86五笔及五笔字型口诀字根表
- gcc怎么编写c语言程序,gcc如何编译C语言程序
- 九章云极DataCanvas公司荣获机器之心三大奖项,助力产业数智化升级
- 相敏解调 matlab,Matlab-信号与系统实验
- PC/UVa 题号: 110106/10033 Interpreter (解释器)题解 c语言版
- 【翻译】Kinect v2程序设计(C++) Depth编
- html点击链接直接加微信群,微信给文字加链接代码分享(原来微信超链接是这样加的)...
- 在线制作"篆体印章",很酷!
热门文章
- JS浮点数运算Bug的解决办法(转自百度文库)
- 数据库-ADONET-向数据库提交更新
- 加速神经网络收敛的萃取精馏权重法
- MATLAB加入螺旋相位板调制,连续型螺旋相位板设计方法与流程
- simpledateformat 毫秒_阿里巴巴 | 为啥代码中禁用static修饰SimpleDateFormat?
- 【控制】《多智能体系统的协同群集运动控制》陈杰老师-第4章-连通性保持下多移动机器人群集控制
- 2.17 Jupyter/ipython 笔记本的快速指南-深度学习-Stanford吴恩达教授
- DFT命令脚本系列1-
- 基于小波shint/DCT编码压缩解压缩的FPGA实现
- TCP之超时重传机制