一、缓存穿透

缓存穿透是指缓存和数据库中均不存在目标数据,而用户不断发起请求,缓存也得不到更新,由此每次请求该数据都会到数据库。高并发量,就会对后端的 DB 系统造成很大压力。如查询 id 为“-1”或不存在的数据,此时用户很可能是攻击者,攻击会导致数据库压力过大。关键点:缓存 value 为空;并发量很大去访问 DB。通俗理解,直接把缓存穿透了,没有利用到缓存。

1️⃣造成的原因

  1. 业务自身代码或数据出现问题。
  2. 一些恶意攻击、爬虫造成大量空的命中,此时会对数据库造成很大压力。

2️⃣解决方法

  1. 接口层增加校验,如用户鉴权,id 做基础校验,id<=0 的直接拦截。
  2. 如果查询数据为空,不管是数据不存在还是系统故障,直接设置一个默认值存放到缓存,如此就可以防止暴力攻击。设置一个很短的过期时间(太长会导致正常情况也无法使用)或者当有值的时候将缓存中的值更新掉即可。
  3. 设置布隆过滤器,将所有可能存在的数据哈希到一个足够大的 bitmap 中,一个一定不存在的数据会被该 bitmap 拦截掉,从而避免了对底层存储系统的查询压力。
    tip:可以给 key 设置一些格式规则,查询之前先过滤掉不符合规则的 Key。

二、缓存击穿

缓存击穿是指缓存中没有但数据库中有的数据(一般是缓存时间到期),此时由于并发用户过多,同时读缓存没读到数据,又同时去数据库去取数据,引起数据库压力瞬间增大,造成过大压力。

解决方案:

  1. 设置热点数据永远不过期。
  2. 加互斥锁。

三、缓存雪崩

如果缓存集中在一段时间内失效,发生大量的缓存穿透,所有的查询都落在数据库上,就会造成缓存雪崩。

缓存层承载了大量的请求,有效的保护了存储层。但是如果缓存整体不能够提供服务,所有的请求,就会到达存储层,存储层的调用量就会暴增,造成存储层挂掉的结果。缓存雪崩的英文解释是奔逃的野牛,指的是缓存层宕掉之后,并发流量会像奔腾的野牛一样,大量涌向后端存储。存在这种问题的一个场景是:当缓存服务器重启或者大量缓存集中在某一个时间段失效,大量数据会去直接访问 DB,此时给 DB 很大的压力。
和缓存击穿不同的是,缓存击穿指并发查同一条数据,缓存雪崩是不同数据都过期了,很多数据都查不到从而查数据库。

一个雪崩的简单过程:

  1. Redis 集群大面积故障。
  2. 缓存失效,但仍有大量请求访问缓存服务 Redis。
  3. Redis 服务失效后,大量请求转向到 MySQL。
  4. MySQL 的调用量暴增,很快就扛不住了,甚至直接宕机。
  5. 由于大量的应用服务依赖 MySQL 和 Redis 的服务,这个时候很快会演变成各服务器集群的雪崩,最后网站彻底崩溃。

1️⃣解决方法

  1. 缓存数据的过期时间随机设置,防止同一时间大量数据过期。
  2. 设置热点数据永远不过期。保证不会出现热点问题,也就是物理上不过期。
  3. 资源保护。使用 netflix 的 hystrix,可以做各种资源的线程池隔离,从而保护主线程池。
  4. 如果缓存数据库是分布式部署,将热点数据均匀分布在不同的缓存数据库中。
  5. 缓存的高可用性
    缓存层设计成高可用,防止缓存大面积故障。即使个别节点、个别机器、甚至是机房宕掉,依然可以提供服务,例如 Redis Sentinel 和 Redis Cluster 都实现了高可用。
  6. 缓存降级
    可以利用 ehcache 等本地缓存(暂时支持),但主要还是对源服务访问进行限流、资源隔离(熔断)、降级等。当访问量剧增、服务出现问题仍然需要保证服务还是可用的。系统可以根据一些关键数据进行自动降级,也可以配置开关实现人工降级,这里会涉及到运维的配合。降级的最终目的是保证核心服务可用,即使是有损的。比如推荐服务中,很多都是个性化的需求,假如个性化需求不能提供服务了,可以降级补充热点数据,不至于造成前端页面是个大空白。在进行降级之前要对系统进行梳理,比如:哪些业务是核心(必须保证),哪些业务可以允许暂时不提供服务(利用静态页面替换)等,以及配合服务器核心指标,来后设置整体预案,比如:
    ①一般:比如有些服务偶尔因为网络抖动或者服务正在上线而超时,可以自动降级;
    ②警告:有些服务在一段时间内成功率有波动(如在95~100%之间),可以自动降级或人工降级,并发送告警;
    ③错误:比如可用率低于90%,或者数据库连接池被打爆了,或者访问量突然猛增到系统能承受的最大阀值,此时可以根据情况自动降级或者人工降级;
    ④严重错误:比如因为特殊原因数据错误了,此时需要紧急人工降级。
  7. Redis 备份和快速预热
    ①Redis 数据备份和恢复
    ②快速缓存预热
  8. 使用互斥锁。在缓存失效后,通过加锁或者队列来控制读和写数据库的线程数量。比如:对某个 key 只允许一个线程查询数据和写缓存,其他线程等待。单机可以使用 synchronized或者lock来解决;分布式环境可以用Redis 的 setnx 命令来解决。
  9. 提前演练
    建议还是在项目上线前,演练缓存层宕掉后,应用以及后端的负载情况以及可能出现的问题,对高可用提前预演,提前发现问题。

四、缓存并发

这里的并发指的是多个 Redis 的 client 同时 set key 引起的并发问题。其实Redis 自身就是单线程操作,多个 client 并发操作,按照先到先执行的原则,先到的先执行,其余的阻塞。当然,另外的解决方案是把 redis.set 操作放在队列中使其串行化,必须得一个一个执行。

五、缓存预热

缓存预热目的就是在系统上线前,将相关的缓存数据直接加载到缓存系统。这样就可以避免在用户请求的时候,先查询数据库,然后再将数据缓存的问题!

解决思路:

  1. 直接写个缓存刷新页面,上线时手工操作下。
  2. 数据量不大,可以在项目启动的时候自动进行加载。

缓存穿透、击穿、雪崩相关推荐

  1. Redis缓存穿透击穿雪崩

    目录 1.缓存穿透 2.缓存击穿 3.缓存雪崩 1.缓存穿透 概述: 缓存穿透的概念很简单,用户想要査询一个数据,发现redis内存数据库没有,也就是缓存没有命中,于是向持久层数据库査询.发现也数据库 ...

  2. Redis缓存/穿透/击穿/雪崩

    目录 1 缓存穿透 1.1 问题描述 1.2 产生原因 1.3 解决方案 2 缓存击穿 2.1 问题描述 2.2 解决方案 3 缓存雪崩 3.1 问题描述 3.2 解决方案: 1 缓存穿透 1.1 问 ...

  3. 一文搞懂Redis缓存穿透/击穿/雪崩

    缓存穿透 问题描述 缓存穿透是指查询一个一定不存在的数据,由于缓存时不命中的,则需要从数据库中查询.查不到数据则不写入缓存,这将导致这个不存在的数据每次请求都要到数据库中去查询,进而增大了数据库的压力 ...

  4. 二十七、Redis缓存穿透和雪崩(完)

    Redis缓存穿透和雪崩 一.服务的高可用问题 在这里我们不会详细的区分析解决方案的底层! Redis缓存的使用,极大的提升了应用程序的性能和效率,特别是数据查询方面.但同时,它也带来了一些问题.其中 ...

  5. Redis11_缓存穿透和雪崩

    Redis11_缓存穿透和雪崩 缓存穿透 用户查询某个数据时,会先在redis缓存中查询,如果缓存没有命中,会去持久层数据库MySQL中查询,如果此时依然没有命中,将返回null,不会写入缓存. 当同 ...

  6. Redis全部知识总结(概念、安装、用法、数据类型、事务、持久化、Jeids、订阅系统、缓存穿透及雪崩等)

    Redis NoSql简述 Nosql概念 Nosql的四大分类 Redis概述 Redis的安装 安装文件 Window下安装 Linux下安装 redis-benchmark 压力测试工具 五大数 ...

  7. 21_Redis_浅析Redis缓存穿透和雪崩

    为什么了解缓存穿透和雪崩:保证服务的高可用问题 Redis缓存的使用,极大的提升了应用程序的性能和效率,特别是数据查询方面.但同时,它也带来了一些问题.其中,最要害的问题,就是数据的一致性问题,从严格 ...

  8. Redis 缓存穿透、雪崩、缓存数据库不一致、持久化方式、分布式锁、过期策略

    1. Redis 缓存穿透 1.1 Redis 缓存穿透概念 访问了不存在的 key,缓存未命中,请求会穿透到 DB,量大时可能会对 DB 造成压力导致服务异常. 由于不恰当的业务功能实现,或者外部恶 ...

  9. beyond compare4过期解决方法_面试必备:缓存穿透、雪崩解决方案及缓存击穿的四种解决方案...

    前言 设计一个缓存系统,不得不要考虑的问题就是:缓存穿透.缓存击穿与失效时的雪崩效应. 缓存穿透 缓存穿透是指查询一个一定不存在的数据,由于缓存是不命中时被动写的,并且出于容错考虑,如果从存储层查不到 ...

  10. mysql数据库击穿_面试中经常出现的缓存穿透、雪崩和击穿到底是什么?

    对于缓存穿透.缓存雪崩和缓存击穿常常出现在面试中,今天来看看它到底是何方神圣 ​ ​ redis缓存穿透 ​理解重在穿透吧,也就是访问透过redis直接经过mysql,通常是一个不存在的key,在数据 ...

最新文章

  1. kalilinux安装搜狗输入法
  2. 从大型主机到个人计算机:机器人产业可以从pc普及革命中学到什么?
  3. 最牛B隐藏文件(续)
  4. 天翼云从业认证(3.4)云数据库
  5. HDU - 2049 不容易系列之(4)——考新郎(错排问题+组合数学)
  6. window安装python3后怎么用pyspark_window10搭建pyspark(超级详细)
  7. JAVA学习--面向对象的特征二:继承性
  8. 从矩阵分解到FM的演进、FM如何用于召回和排序以及实现说明
  9. LigerUI之Grid使用详解(三)——字典数据展示
  10. 基于行政区划的百度个性化地图及遥感影像栅格瓦片下载合成器(可叠加行政区划,适合用作科研遥感影像附图)
  11. wincc如何实现web发布,及具体方法
  12. Windows常用cmd命令总结
  13. 高德地图打包后不能使用,高德导航View不显示,高德地图导航组件黑屏的问题;
  14. Sereja and Swaps
  15. c语言程序输入与输出函数,C语言printf()和scanf()函数?其实就是输入输出
  16. python爬取携程网旅游_爬虫之携程网旅游信息爬取
  17. 计算机与科技小故事,科学童话小故事大全【三篇】
  18. 教你如何寻找更多的外链
  19. 纪念计算机科学之父阿兰·图灵诞辰109周年
  20. 每天一个linux命令:chgrp

热门文章

  1. linux 无法定位程序,三步搞定无法定位程序输入点 于动态链接库上
  2. primeng的Tree初始化选中,实现联动效果
  3. 【附源码】Python计算机毕业设计农田节水灌溉监测系统
  4. python re模块_python 正则表达式 (重点) re模块
  5. HDUOJ 4513 吉哥系列故事——完美队形II
  6. List、Map 与json转换的工具类
  7. 打开secpol.msc、gpedit.msc显示“试图引用不存在的令牌”,复制到其他目录可正常打开
  8. <ESP8266>WIFI模块AT指令浅学
  9. 关于重装系统前的准备、备份和重装完后系统优化、使用习惯等说明
  10. 什么是BASE最终一致性