前言

回顾前面:

  • 从零单排学Redis【青铜】

  • 从零单排学Redis【白银】

  • 从零单排学Redis【黄金】

  • 从零单排学Redis【铂金一】

  • 从零单排学Redis【铂金二】

Redis

今天来分享一下Redis几道常见的面试题:

  • 如何解决缓存雪崩?

  • 如何解决缓存穿透?

  • 如何保证缓存与数据库双写时一致的问题?

一、缓存雪崩

1.1 什么是缓存雪崩?

回顾一下我们为什么要用缓存(Redis):

为什么要缓存

现在有个问题,如果我们的缓存挂掉了,这意味着我们的全部请求都跑去数据库了

如果缓存挂掉了,全部请求跑去数据库了

在前面学习我们都知道Redis不可能把所有的数据都缓存起来(内存昂贵且有限),所以Redis需要对数据设置过期时间,并采用的是惰性删除+定期删除两种策略对过期键删除。Redis对过期键的策略+持久化

如果缓存数据设置的过期时间是相同的,并且Redis恰好将这部分数据全部删光了。这就会导致在这段时间内,这些缓存同时失效,全部请求到数据库中。

这就是缓存雪崩

  • Redis挂掉了,请求全部走数据库。

  • 对缓存数据设置相同的过期时间,导致某段时间内缓存失效,请求全部走数据库。

缓存雪崩如果发生了,很可能就把我们的数据库搞垮,导致整个服务瘫痪!

1.2 如何解决缓存雪崩?

对于“对缓存数据设置相同的过期时间,导致某段时间内缓存失效,请求全部走数据库。”这种情况,非常好解决:

  • 解决方法:在缓存的时候给过期时间加上一个随机值,这样就会大幅度的减少缓存在同一时间过期

对于“Redis挂掉了,请求全部走数据库”这种情况,我们可以有以下的思路:

  • 事发前:实现Redis的高可用(主从架构+Sentinel 或者Redis Cluster),尽量避免Redis挂掉这种情况发生。

  • 事发中:万一Redis真的挂了,我们可以设置本地缓存(ehcache)+限流(hystrix),尽量避免我们的数据库被干掉(起码能保证我们的服务还是能正常工作的)

  • 事发后:redis持久化,重启后自动从磁盘上加载数据,快速恢复缓存数据

二、缓存穿透

2.1 什么是缓存穿透

比如,我们有一张数据库表,ID都是从1开始的(正数):

随便找了一张数据库表

但是可能有黑客想把我的数据库搞垮,每次请求的ID都是负数。这会导致我的缓存就没用了,请求全部都找数据库去了,但数据库也没有这个值啊,所以每次都返回空出去。

缓存穿透是指查询一个一定不存在的数据。由于缓存不命中,并且出于容错考虑,如果从数据库查不到数据则不写入缓存,这将导致这个不存在的数据每次请求都要到数据库去查询,失去了缓存的意义。

缓存穿透

这就是缓存穿透

  • 请求的数据在缓存大量不命中,导致请求走数据库。

缓存穿透如果发生了,也可能把我们的数据库搞垮,导致整个服务瘫痪!

2.1 如何解决缓存穿透?

解决缓存穿透也有两种方案:

  • 由于请求的参数是不合法的(每次都请求不存在的参数),于是我们可以使用布隆过滤器(BloomFilter)或者压缩filter提前拦截,不合法就不让这个请求到数据库层!

  • 当我们从数据库找不到的时候,我们也将这个空对象设置到缓存里边去。下次再请求的时候,就可以从缓存里边获取了。

    • 这种情况我们一般会将空对象设置一个较短的过期时间

参考资料:

  • 缓存系列文章--5.缓存穿透问题

    • https://carlosfu.iteye.com/blog/2248185

三、缓存与数据库双写一致

3.1 对于读操作,流程是这样的

上面讲缓存穿透的时候也提到了:如果从数据库查不到数据则不写入缓存。

一般我们对读操作的时候有这么一个固定的套路

  • 如果我们的数据在缓存里边有,那么就直接取缓存的。

  • 如果缓存里没有我们想要的数据,我们会先去查询数据库,然后将数据库查出来的数据写到缓存中

  • 最后将数据返回给请求

3.2 什么是缓存与数据库双写一致问题?

如果仅仅查询的话,缓存的数据和数据库的数据是没问题的。但是,当我们要更新时候呢?各种情况很可能就造成数据库和缓存的数据不一致了。

  • 这里不一致指的是:数据库的数据跟缓存的数据不一致

数据库和缓存的数据不一致

从理论上说,只要我们设置了键的过期时间,我们就能保证缓存和数据库的数据最终是一致的。因为只要缓存数据过期了,就会被删除。随后读的时候,因为缓存里没有,就可以查数据库的数据,然后将数据库查出来的数据写入到缓存中。

除了设置过期时间,我们还需要做更多的措施来尽量避免数据库与缓存处于不一致的情况发生。

3.3 对于更新操作

一般来说,执行更新操作时,我们会有两种选择:

  • 先操作数据库,再操作缓存

  • 先操作缓存,再操作数据库

首先,要明确的是,无论我们选择哪个,我们都希望这两个操作要么同时成功,要么同时失败。所以,这会演变成一个分布式事务的问题。

所以,如果原子性被破坏了,可能会有以下的情况:

  • 操作数据库成功了,操作缓存失败了

  • 操作缓存成功了,操作数据库失败了

如果第一步已经失败了,我们直接返回Exception出去就好了,第二步根本不会执行。

下面我们具体来分析一下吧。

3.3.1 操作缓存

操作缓存也有两种方案:

  • 更新缓存

  • 删除缓存

一般我们都是采取删除缓存缓存策略的,原因如下:

  1. 高并发环境下,无论是先操作数据库还是后操作数据库而言,如果加上更新缓存,那就更加容易导致数据库与缓存数据不一致问题。(删除缓存直接和简单很多)

  2. 如果每次更新了数据库,都要更新缓存【这里指的是频繁更新的场景,这会耗费一定的性能】,倒不如直接删除掉。等再次读取时,缓存里没有,那我到数据库找,在数据库找到再写到缓存里边(体现懒加载)

基于这两点,对于缓存在更新时而言,都是建议执行删除操作!

3.3.2 先更新数据库,再删除缓存

正常的情况是这样的:

  • 先操作数据库,成功;

  • 再删除缓存,也成功;

如果原子性被破坏了:

  • 第一步成功(操作数据库),第二步失败(删除缓存),会导致数据库里是新数据,而缓存里是旧数据

  • 如果第一步(操作数据库)就失败了,我们可以直接返回错误(Exception),不会出现数据不一致。

如果在高并发的场景下,出现数据库与缓存数据不一致的概率特别低,也不是没有:

  • 缓存刚好失效

  • 线程A查询数据库,得一个旧值

  • 线程B将新值写入数据库

  • 线程B删除缓存

  • 线程A将查到的旧值写入缓存

要达成上述情况,还是说一句概率特别低

因为这个条件需要发生在读缓存时缓存失效,而且并发着有一个写操作。而实际上数据库的写操作会比读操作慢得多,而且还要锁表,而读操作必需在写操作前进入数据库操作,而又要晚于写操作更新缓存,所有的这些条件都具备的概率基本并不大。

对于这种策略,其实是一种设计模式:Cache Aside Pattern

先修改数据库,再删除缓存

删除缓存失败的解决思路

  • 将需要删除的key发送到消息队列中

  • 自己消费消息,获得需要删除的key

  • 不断重试删除操作,直到成功

3.3.3 先删除缓存,再更新数据库

正常情况是这样的:

  • 先删除缓存,成功;

  • 再更新数据库,也成功;

如果原子性被破坏了:

  • 第一步成功(删除缓存),第二步失败(更新数据库),数据库和缓存的数据还是一致的。

  • 如果第一步(删除缓存)就失败了,我们可以直接返回错误(Exception),数据库和缓存的数据还是一致的。

看起来是很美好,但是我们在并发场景下分析一下,就知道还是有问题的了:

  • 线程A删除了缓存

  • 线程B查询,发现缓存已不存在

  • 线程B去数据库查询得到旧值

  • 线程B将旧值写入缓存

  • 线程A将新值写入数据库

所以也会导致数据库和缓存不一致的问题。

并发下解决数据库与缓存不一致的思路

  • 将删除缓存、修改数据库、读取缓存等的操作积压到队列里边,实现串行化

将操作积压到队列中

3.4 对比两种策略

我们可以发现,两种策略各自有优缺点:

  • 先删除缓存,再更新数据库

    • 在高并发下表现不如意,在原子性被破坏时表现优异

  • 先更新数据库,再删除缓存(Cache Aside Pattern设计模式)

    • 在高并发下表现优异,在原子性被破坏时表现不如意

3.5 其他保障数据一致的方案与资料

可以用databus或者阿里的canal监听binlog进行更新。

参考资料:

  • 缓存更新的套路

    • https://coolshell.cn/articles/17416.html

  • 如何保证缓存与数据库双写时的数据一致性?

    • https://github.com/doocs/advanced-java/blob/master/docs/high-concurrency/redis-consistence.md

  • 分布式之数据库和缓存双写一致性方案解析

    • https://zhuanlan.zhihu.com/p/48334686

  • Cache Aside Pattern

    • https://blog.csdn.net/z50l2o08e2u4aftor9a/article/details/81008933

最后

这是几道Redis常见的面试题,希望大家看完有所帮助,顺利拿到offer!

面试前必须要知道的Redis面试题相关推荐

  1. ktt算法 约化_答:那些深度学习《面试》你可能需要知道的

    本文是问题"那些深度学习<面试>你可能需要知道的"的回答,答案均以英文版Deep Learning页标标记. 1.列举常见的一些范数及其应用场景,如L0,L1,L2,L ...

  2. [面试专题]前端需要知道的web安全知识

    前端需要知道的web安全知识 标签(空格分隔): 未分类 安全 [Doc] Crypto (加密) [Doc] TLS/SSL [Doc] HTTPS [Point] XSS [Point] CSRF ...

  3. 学vue前你需要知道的:vue生态圈

    文章目录 前言 Vue.js Vue Angular React Vuex Vue Router Devtools vue-cli img View UI(iView) Element(饿了么) 前言 ...

  4. 初级软件测试面试前需要做什么准备?面试题可以去哪里找?

    最近几年,随着电子产品和互联网的蓬勃发展,各类科技公司如雨后春笋般出现,而软件公司作为科技类公司中的重要组成部分,在这支互联网大军中也占据了重要一席.因而,负责软件问题质检的软件测试岗位也逐渐成了这几 ...

  5. 面试前看一看,Redis不再难

    本文脑图 redis基本数据结构 本文脑图 前言 Redis是基于c语言编写的开源非关系型内存数据库,可以用作数据库.缓存.消息中间件,这么优秀的东西客定要一点一点的吃透它. 这是关于Redis五种数 ...

  6. Linux运维需要知道的Redis经验

    点击上方"方志朋",选择"设为星标" 回复"666"获取新整理的面试文章 来源:rrd.me/gmRQb Redis 在当前的技术社区里是非 ...

  7. string类型加减_测试人员应该知道的Redis知识(四) String

    一.概述 完整的说,应该是Binary-safe string,二进制安全字符串.从官网内容我们可以看到,String类型是最简单的一种数据类型,和Memcached的类型一致,一个key对应一个va ...

  8. android游戏引擎!作为一名Android面试者你应该知道的,终局之战

    背景 前段时间朋友辞去了北京一家小创公司Android开发的工作,准备寻找新的工作的时候,要和我聊聊天.告诉我再找不到工作就考虑转行了! 话语间无不感叹安卓有点强弩之末的味道!聊天过程中,朋友也顺带分 ...

  9. teamlab什么意思_去看炸火的teamLab大型个展前 你应该知道的事

    TeamLab首次中国大型个展"花舞森林与未来游乐园"正在798艺术区佩斯北京中展出."狂拽.酷炫.炸天!"这是亲历过VIP预展和现场的人对此次展览的火辣评价. ...

最新文章

  1. 重新定义“物联网” GreenPeak助力合作伙伴构建智能家居
  2. C语言中sizeof与strlen区别
  3. UPS技术的“前世今生”【基础篇.PPT】
  4. keil 查看 stm32 io波形_这样学习STM32单片机,从菜鸟到牛人很简单!
  5. php html url编码,html中url编码是什么?有什么用?
  6. html5_0_文章_分级_分段
  7. python数据结构与算法13_python 数据结构与算法 (13)
  8. 不同于NLP,数据驱动、机器学习无法攻克NLU,原因有三
  9. java 多态_Java的多态
  10. java中对象排序_java中 对象的排序
  11. BAT架构师推荐的9本程序员技术进阶图书,大家看过多少?
  12. 用户 'sa' 登录失败。 连接SQL2000出现的问题。
  13. Android系统架构
  14. 量化—神话、黑箱与真谛
  15. 【喜讯 · 喜讯】讲师自营销计划奖励又双叒叕来了!
  16. 计算机绘图作业西南交大,西南交大计算机绘图A 离线作业.doc
  17. 网页简单轮播图的实现
  18. 清华生的多年奋斗领悟
  19. 【论文笔记】Proofs-of-delay and randomness beacons in Ethereum-2017IEEE SB Workshop
  20. 利用Matlab对Excel数据表参数进行频谱分析(FFT)的方法

热门文章

  1. spring的Autowired和@Resource的区别是什么
  2. Linux下 ln 命令详解
  3. 关于.NET参数传递方式的思考
  4. 开始学习马哥的linux
  5. Linux 搜索指令
  6. Spring 更好地处理 Struts 动作
  7. 最优化问题的求解分类
  8. Hyperledger Fabric相关文件解析
  9. 使用Navicat for Oracle新建用户无法登陆(用户名大小写问题)
  10. vc简易网络服务器、客户端实现