1 重启和故障转移后的部分重同步

Redis 4.0 开始,当一个实例在故障转移后被提升为 master,它仍能与旧 master 的 Replica 进行部分重同步。为此,Replica 会记住旧 master 的旧 replication ID 和复制偏移量,因此即使询问旧的 replication ID,也可以将部分复制缓冲提供给连接的 Replica 。

但升级的 Replica 的新 replication ID 将不同,因为它构成了数据集的不同历史记录。例如,master 可以返回可用,并且可以在一段时间内继续接收写命令,因此在被提升的 Replica 中使用相同的 replication ID 将违反 一对复制标识和偏移对只能标识单一数据集  规则。

Replica 在关机并重启后,能够在 RDB 文件中存储所需信息,以便与 master 进行重同步。这在升级的情况下很有用。当需要时,最好使用 SHUTDOWN 命令执行 Replica 的保存和退出操作。

2 主从数据不一致

很显然,这是由于主从网络延时。

2.1 主多从少

部分重同步。可通过命令 PSYNC master_run_id offset 执行。

2.2 主少从多

全量复制,覆盖。这种情况是因为 Replica 是读写模式,因此:

  • 关闭 Replica 的读写模式

  • 或删除 Replica 的数据,重新从 Master 全量复制

3 数据延迟

编写外部程序监听主从节点的复制偏移量,延迟较大时发出报警或通知客户端,切换到 Master 或其他节点。

设置 Replica:

slave-serve-stale-data = no

INFOSLAVOF 命令之外的任何请求都会返回一个错误“SYNC with master in progress”。

当 Replica 失去与Master 的连接时或仍在进行复制时,Replica 可以如下方式起作用:

  • 若 replica-serve-stale-data 为 yes(默认值),则 Replica 仍会回复客户端请求,可能带有过期数据,或者说,若这是第一次同步,则数据集可能只是空的

  • 若将 replica-serve-stale-data 设为no,则该 Replica 将对除以下信息以外的所有命令返回错误“SYNC with master in progress”:INFO,REPLICAOF,AUTH,PING,SHUTDOWN,REPLCONF,ROLE,CONFIG ,SUBSCRIBE,UNSUBSCRIBE,PSUBSCRIBE,PUNSUBSCRIBE,PUBLISH,PUBSUB,COMMAND,POST,HOST和LATENCY

4 脏数据

4.1 脏数据产因

4.1.1 Redis 删除策略

因为读到了过期数据,而读到过期数据就是 Redis 删除策略所导致的:

惰性删除

Master 每次读取命令时都会检查K是否超时,若超时,则执行 del 命令删除K,之后异步把 del 命令同步给 Replica,即可保证数据复制的一致性。切记 Replica 永远不会主动去删除超时数据。

定时删除

Redis 的 Master 在内部有定时任务,会循环采样一定数量的K,当发现采样K过期,会执行 del,之后再同步给每个 Replica。

主动删除

当前已用内存超过 maxmemory 限定时,触发主动清理策略。主动设置的前提是设置了 maxMemory 的值 注:如果数据大量超时,master 节点采样速度跟不上过期的速度,而且 master 节点没有读取过期键的操作,那 slave 节点是无法收到 del 命令的,这时从节点上读取的数据已经是超时的了。

4.1.2 从节点可写

如果从节点(默认读模式)是读写模式,可能误写入从节点的数据,后期就会成为脏数据。

4.2 解决方案

4.2.1 忽略

比如 12306 查余票、双十一秒杀的库存,你会发现经常就是前后不一致的数据。因为你查询时得到的数据,就是需要允许写错误。

4.2.2 选择性强制读主

但是真正下单扣库存时,你就必须确保数据的正确性 选择强制读 master,slave间接变为备份服务器(某个业务)。

4.2.3 从节点只读

防止 slave 写入脏数据。

4.2.4 Redis自身优化

Redis3.2 版本解决了 Redis 删除策略导致的过期数据,在此版本中 slave 读数据前,会检查K过期时间,以决定是否返回数据。

5 数据安全性

5.1 关闭主节点持久化

为提升Redis性能,一般会关闭 Master 持久化的功能(这样所有数据都会持久化在 slave),因为主从同步时,Master 都会 bgsave rdb。但这样也会带来复制的安全性问题。

在使用 Redis 复制功能时的设置中,推荐在 master 和在 slave 中启用持久化。当不可能启用时,例如由于非常慢的磁盘性能而导致的延迟问题,应该禁用主节点自动重启功能。

风险场景

  1. 关闭 Master 的持久化设置,Replica1 和 Replica2 从 Master 复制数据。Master 只有内存数据,没有磁盘数据了。

  2. 当 Master 宕机,由于自动重启机制重启了,但重启后由于持久化被关闭了,Master数据集为空!

  3. 重启后的 Master,发现 runId 发生变化,也会重新和从节点建立连接,两个从节点会发起复制请求,从Master 复制数据,但 Master 此时数据集为空,因此复制的结果是它们会销毁自身之前的数据副本而变成空数据集。 

5.1.1 解决方案

  • 牺牲性能,开启 Master 的持久化功能。

  • 为了性能,依旧选择关闭,那就让主节点不自动重启,比如不要有Docker或脚本等自动重启机制。

面试官:你们Redis故障过吗,怎么解决?相关推荐

  1. redis为什么是单线程_面试官:Redis单线程为什么执行效率这么高?

    点击上方☝Java编程技术乐园,轻松关注!及时获取有趣有料的技术文章 做一个积极的人 编码.改bug.提升自己 我有一个乐园,面向编程,春暖花开! 上一篇回顾: 面试官:Redis为什么设计成单线程的 ...

  2. redis主从复制如何保证数据一致性_面试官:Redis 主从复制时网络开小差了怎么整?...

    上周因为实在太忙就认认真真写了一篇水文,吹了一下自己过去的经历,反响竟然超出了我的预期,并且后台还有读者留言表示想看续集的.哈哈,果然大家还是对水文更有热情. 这期我们继续回到之前的 Redis 话题 ...

  3. 【Redis系列】面试官:Redis中的数据已经过期,为什么还占用这内存?

    如果有面试官问Redis中的数据已经过期为什么还占用这内存? 它是因为Redis本身的过期策略和缓存淘汰机制所导致的. 说说Redis的过期策略和缓存淘汰机制 先来说说Redis的过期策略,Redis ...

  4. 面试官这Redis夺命连环12问,谁顶得住?

    面试官这夺命连环12问,谁顶得住? ⏬ 面试官: 同学,我看你每个项目中都用到了Redis,你能说说你是怎样使用Redis的吗? 小A同学: 主要用来做缓存,分布式Session, 阅读量/点赞数统计 ...

  5. 面试官:Redis集群有哪些方式,Leader选举又是什么原理呢?

    哈喽!大家好,我是小奇,一位不靠谱的程序员 小奇打算以轻松幽默的对话方式来分享一些技术,如果你觉得通过小奇的文章学到了东西,那就给小奇一个赞吧 文章持续更新,可以微信搜索[小奇JAVA面试]第一时间阅 ...

  6. 阿里面试官:Redis分片集群都不懂?还来面试?

    面试官:聊下Redis的分片集群,先聊 Redis Cluster好咯? 面试官:Redis Cluser是Redis 3.x才有的官方集群方案,这块你了解多少? 候选者:嗯,要不还是从基础讲起呗? ...

  7. 面试官:Redis中集合数据类型的内部实现方式是什么?

    虽然已经是阳春三月,但骑着共享单车骑了这么远,还有有点冷的.我搓了搓的被冻的麻木的手,对着前台的小姐姐说:"您好,我是来面试的."小姐姐问:"您好,您叫什么名字?&quo ...

  8. 吊打面试官!Redis 常见面试题请收好 | 原力计划

    作者 | 敖丶丙 责编 | Elle 出品 | CSDN 博客 你知道的越多,你不知道的越多 GitHub地址 https://github.com/AobingJava/JavaFamily 已经开 ...

  9. 面试官:Redis如何实现持久化的、主从哨兵又是什么?

    哈喽!大家好,我是小奇,一位不靠谱的程序员 小奇打算以轻松幽默的对话方式来分享一些技术,如果你觉得通过小奇的文章学到了东西,那就给小奇一个赞吧 文章持续更新,可以微信搜索[小奇JAVA面试]第一时间阅 ...

最新文章

  1. Linux网络编程必看书籍推荐
  2. Redis requires a monkey patched socket library to work with gevent
  3. hdu 1560 DNA sequence(迭代加深搜索)
  4. 动手学CV-目标检测入门教程4:模型结构
  5. eclipse闪退打不开问题
  6. Ubuntu更改国内源,设置固定IP和DNS
  7. AI 是中性的技术,如何用它更好地为人类服务
  8. python 使用 plt.savefig() 保存图片去除旁边的空白区域
  9. 帧率常量15可以随便改,问为什么是15,是想暴露自己不懂编程?
  10. java 集合练习题2
  11. 【转载】十款必备牛逼的IDEA插件
  12. 小米路由器 安装mysql_小米路由器安装和设置方法(图文教程)
  13. 三星老java手机换字体_三星手机设置字体大小与更换默认字体的图文教程
  14. python 查找函数所在模块和文件位置_查看python的模块和函数帮助文档方法
  15. vue实现带节假日的日历
  16. Android Q中外部存储盘路径正则表达式的理解
  17. Android基站定位——通过手机信号获取基站信息(一)
  18. U盘中病毒,除病毒,要除根
  19. 开发BUG | “Type definition error: [simple type, class com.example.mall.pojo.User];
  20. openstack 安装并验证 Nova( 计算节点 + 控制节点)

热门文章

  1. android8.1上musicfx,Android自带音频均衡器MusicFx分析
  2. 每个php允许的内存大小,php – 允许的内存大小为262144字节用尽(试图分配24576字节)...
  3. 导致网速变慢的安全隐患
  4. 用计算机演银河系,天文学家利用计算机模拟类银河星系
  5. python 调用函数 开销_参数中带有函数的Python日志记录开销
  6. php递归内存,PHP递归的三种常用方式
  7. 2019 ICPC Asia Nanjing Regional C.Digital Path(拓扑排序递推DP)
  8. 牛客算法周周练2 B Music Problem(DP,抽屉原理,二进制拆分)
  9. R - 0 or 1 HDU - 4370
  10. 任铄 计算机操作系统,计算机组成与体系结构-CSDN.PDF