我们知道,大部分的业务场景都是读多写少,为了利用好这个特性,提升Redis集群系统的吞吐能力,通常会采用主从架构读写分离

如上图所示:其中

  • Master节点:负责业务的写操作

  • Slave节点:实时同步Master节点的数据,提供读能力

为了提高吞吐量,采用一主多从的架构,将业务的读压力分摊到多台服务器上

上述方案,看似合理,但其实可能存在一定隐患!

一、拉取过期数据

Redis性能高主要得益于纯内存操作,但内存存储介质的成本过高,所以数据的存储有一定的约束。

通常会设置过期时间,对于一些使用不是很频繁的数据,会定期删除,提高资源的利用率。

删除过期数据,Redis提供了两种策略:

1、惰性删除。

也称被动删除,当数据过期后,并不会马上删除。而是等到有请求访问时,对数据检查,如果数据过期,则删除数据。

优点:不需要单独启动额外的扫描线程,减少了CPU资源的损耗。

缺点:大量的过期数据滞留内存中,需要主动触发、检查、删除,否则会一直占用内存资源。

2、定期删除。每隔一段时间,默认100ms,Redis会随机挑选一定数量的Key,检查是否过期,并将过期的数据删除。

你可能会为问了,既然Redis有过期数据删除策略,那为什么还会拉取到已经过期的数据呢?

这要从主从同步讲起了,我们先来看张流程图

当客户端往主库写入数据后,并设置了过期时间,数据会以异步方式同步给从库。

1、如果此时读主库,数据已经过期,主库的惰性删除会发挥作用,主动触发删除操作,客户端不会拿到已过期数据

2、但是如果读从库,则有可能拿到过期数据。原因有两个

原因一:

跟 Redis 的版本有关系,Redis 3.2 之前版本,读从库并不会判断数据是否过期,所以有可能返回过期数据。

解决方案:

升级Redis的版本,至少要3.2 以上版本,读从库,如果数据已经过期,则会过滤并返回空值。

特别注意:

此时同步过来的数据,虽然已经过期,但本着谁生产谁维护的原则,从库并不会主动删除同步的数据,需要依赖于主节点同步过来的key删除命令。

原因二:

跟过期时间的设置方式有关系,我们一般采用 EXPIRE 和 PEXPIRE,表示从执行命令那个时刻开始,往后延长 ttl 时间。严重依赖于 开始时间 从什么时候算起。

  • EXPIRE:单位为秒

  • PEXPIRE:单位为毫秒

如上图所示,简单描述下过程:

  • 主库在 t1 时刻写入一个带过期时间的数据,数据的有效期一直到 t3

  • 由于网络原因、或者缓存服务器的执行效率,从库的命令并没有立即执行。一直等到了 t2 才开始执行, 数据的有效期则会延后到 t5

  • 如果,此时客户端访问从库,发现数据依然处于有效期内,可以正常使用

解决方案:

可以采用Redis的另外两个命令,EXPIREAT 和 PEXPIREAT,相对简单,表示过期时间为一个具体的时间点。避免了对开始时间从什么时候算起的依赖。

  • EXPIREAT:单位为秒

  • PEXPIREAT:单位为毫秒

特别注意:

EXPIREAT 和 PEXPIREAT 设置的是时间点,所以要求主从节点的时钟保持一致,需要与NTP 时间服务器保持时钟同步。

主从同步,除了读从库可能拉取到过期数据,还可能遇到数据一致性问题。

继续往下看

二、主从数据不一致

解释下,什么是主从数据不一致?指客户端从库中读取到的值与主库中读取的值不一致!

如图所示:

  • 客户端写入主库,值为100

  • 然后,主库将值100 同步给 从库

  • 接着,客户端又访问主库,将值更新为 200

  • 由于主从同步是异步进行的,有一定延迟,假如最新数据还没有同步到从库,那么从库读取的就不是最新值。

从库同步落后的原因主要有两个:

1、主从服务器间的网络传输可能有延迟

2、从库已经收到主库的命令,由于是单线程执行,前面正在处理一些耗时的命令(如:pipeline批处理),无法及时同步执行。

解决方案:

1、主从服务器尽量部署在同一个机房,并保持服务器间的网络良好通畅

2、监控主从库间的同步进度,通过info replication命令 ,查看主库接收写命令的进度信息(master_repl_offset),从库的复制写命令的进度信息(slave_repl_offset)

master_repl_offset - slave_repl_offset

得到从库与主库间的复制进度差

我们可以开发一个监控程序,定时拉取主从服务器的进度信息,计算进度差值。如果超过我们设置的阈值,则通知客户端断开从库的连接,全部访问主库,一定程度上减少数据不一致情况。

待同步进度跟上后,我们再恢复客户端与从节点的读操作。

字节一面:Redis主节点的Key已过期,但从节点依然读到过期数据....相关推荐

  1. springboot 使用 redis 监听 key 的过期回调( 模拟设置订单号超时时间, 触发修改订单状态业务逻辑)

    本文Demo地址:https://gitee.com/wslxm/spring-boot-redis 一.redis 配置文件 redis.conf 修改如下 notify-keyspace-even ...

  2. redis查看key的过期时间_面试官:你在Redis中设置过带过期时间的Key吗?

    点击上方小伟后端笔记关注公众号 每天阅读Java干货文章 熟悉Redis的同学应该知道,Redis的每个Key都可以设置一个过期时间,当达到过期时间的时候,这个key就会被自动删除. 在为key设置过 ...

  3. redis list设置过期时间_面试官:你在Redis中设置过带过期时间的Key吗?

    点击上方小伟后端笔记关注公众号 每天阅读Java干货文章 熟悉Redis的同学应该知道,Redis的每个Key都可以设置一个过期时间,当达到过期时间的时候,这个key就会被自动删除. 在为key设置过 ...

  4. redis set 超时_Redis 更新(set) key值过期时间被重置

    Redis 更新(set) key值过期时间被重置的问题: 问题描述: 当你在redis中插入一个key值,并且设置了对应过期时间.,当过期时间还没到的时候重新更新 key 值会导致过期时间被刷新. ...

  5. 面试突击 002 | Redis 是如何处理已过期元素的?

    1 面试题 Redis 如何处理已过期的元素? 2 涉及知识点 此问题涉及以下知识点: 过期删除策略有哪些? 这些过期策略有哪些优缺点? Redis 使用的是什么过期策略? Redis 是如何优化和执 ...

  6. redis查看key的过期时间_面试官:Redis过期后key是怎么样清理的?

    前言 笔者一个同事面试某大厂时问到的一个问题,这里拿来讲讲:Redis过期后key是怎么样清理的? 在Redis中,对于过期key的清理主要有惰性清除,定时清理,内存不够时清理三种方法,下面我们就来具 ...

  7. Redis源码分析:过期key删除与设置key的过期时间

    Redis中设置key过期时间与过期key的处理流程 在Redis中,可以再设置值的时候就设置该Key的过期时间,也可以通过在expire命令来设置某个key值的过期时间,并且在了解完设置过期时间之后 ...

  8. java redis expire 1_redis 下key的过期时间详解 :expire

    Redis是一个开源的Key-Value数据缓存,和Memcached类似. Redis多种类型的value,包括string(字符串).list(链表).set(集合).zset(sorted se ...

  9. Redis Expire 设置key过期时间

    Expire Redis Expire 命令用于设置 key 的过期时间.key 过期后将不再可用. 用法:Expire key 127.0.0.1:6379 [8] > set keyname ...

最新文章

  1. 张一鸣宣布卸任字节CEO!网友:完不成OKR被优化了!
  2. Vivotek 摄像头远程栈溢出漏洞分析及利用
  3. python读取数据库之给变量_使用Python和SQLite,如何将数据库中的项读入变量?
  4. Oracle存储过程语法
  5. 用神经网络分类集合{x|x∈x}与集合{x|x ∉x}
  6. java 线程中创建线程_java – 在线程中创建线程 – 良好的做​​法?
  7. 2021牛客暑期多校训练营9
  8. 关于Mysql的错误:No query specified
  9. 中小企业电子商务如何发展?
  10. 文字生成视频,只需一步
  11. 还在花钱买课呢?教你白嫖开放注册图书馆价值上万元的学习资源
  12. 经验:如何做好两台BXP服务器(转)
  13. wxWidgets+wxSmith版电子词典
  14. MATLAB/Simulink双馈风机调频模型,风电调频模型,基于三机九节点搭建含双馈风机的电力系统模型
  15. diybox路由器设置教程_无线路由器设置图解,最全面的图文教程
  16. 看两宋风云,搞清了四个之前对两宋历史认识错误的地方
  17. 【C#】C#实现端口扫描器
  18. 物联网应用技术竞赛——单片机笔记
  19. itest英语考试bug_【写给德语同行的】iTest非官方食用指南(上)
  20. Homebrew替换阿里云镜像源

热门文章

  1. js截屏代码_JavaScript网页截屏方法,你get到了嘛?
  2. Webpack原理与实践
  3. Linux之SSH协议知识点总结
  4. Java非阻塞I/O模型之NIO说明
  5. 新时代的网络工程师需要掌握哪些技能
  6. centeros7网络服务无法启动_Linux网络服务02——DHCP原理与配置
  7. python 搭建的http 动态服务器_Python 创建HTTP服务器的简单示例
  8. linux添加ssl信任根证书,linux系统添加根证书linux证书信任列表
  9. CF231C To Add or Not to Add(思维,模拟)
  10. 例题3-5 生成元(Digit Generator, ACM/ICPC Seoul 2005, UVa1583)