缓存穿透、击穿、雪崩
一、缓存穿透
缓存穿透是指缓存和数据库中均不存在目标数据,而用户不断发起请求
,缓存也得不到更新,由此每次请求该数据都会到数据库。高并发量,就会对后端的 DB 系统造成很大压力。如查询 id 为“-1”或不存在的数据,此时用户很可能是攻击者,攻击会导致数据库压力过大。关键点:缓存 value 为空;并发量很大去访问 DB。通俗理解,直接把缓存穿透了,没有利用到缓存。
1️⃣造成的原因
- 业务自身代码或数据出现问题。
- 一些恶意攻击、爬虫造成大量空的命中,此时会对数据库造成很大压力。
2️⃣解决方法
- 接口层增加校验,如用户鉴权,id 做基础校验,id<=0 的直接拦截。
- 如果查询数据为空,不管是数据不存在还是系统故障,直接设置一个默认值存放到缓存,如此就可以防止暴力攻击。设置一个很短的过期时间(太长会导致正常情况也无法使用)或者当有值的时候将缓存中的值更新掉即可。
- 设置布隆过滤器,将所有可能存在的数据哈希到一个足够大的 bitmap 中,一个一定不存在的数据会被该 bitmap 拦截掉,从而避免了对底层存储系统的查询压力。
tip:可以给 key 设置一些格式规则,查询之前先过滤掉不符合规则的 Key。
二、缓存击穿
缓存击穿是指缓存中没有但数据库中有的数据(一般是缓存时间到期),此时由于并发用户过多,同时读缓存没读到数据,又同时去数据库去取数据,引起数据库压力瞬间增大,造成过大压力。
解决方案:
- 设置热点数据永远不过期。
- 加互斥锁。
三、缓存雪崩
如果缓存集中在一段时间内失效,发生大量的缓存穿透,所有的查询都落在数据库上,就会造成缓存雪崩。
缓存层承载了大量的请求,有效的保护了存储层。但是如果缓存整体不能够提供服务,所有的请求,就会到达存储层,存储层的调用量就会暴增,造成存储层挂掉的结果。缓存雪崩的英文解释是奔逃的野牛,指的是缓存层宕掉之后,并发流量会像奔腾的野牛一样,大量涌向后端存储。存在这种问题的一个场景是:当缓存服务器重启或者大量缓存集中在某一个时间段失效,大量数据会去直接访问 DB,此时给 DB 很大的压力。
和缓存击穿不同的是,缓存击穿指并发查同一条数据,缓存雪崩是不同数据都过期了,很多数据都查不到从而查数据库。
一个雪崩的简单过程:
- Redis 集群大面积故障。
- 缓存失效,但仍有大量请求访问缓存服务 Redis。
- Redis 服务失效后,大量请求转向到 MySQL。
- MySQL 的调用量暴增,很快就扛不住了,甚至直接宕机。
- 由于大量的应用服务依赖 MySQL 和 Redis 的服务,这个时候很快会演变成各服务器集群的雪崩,最后网站彻底崩溃。
1️⃣解决方法
- 缓存数据的过期时间随机设置,防止同一时间大量数据过期。
- 设置热点数据永远不过期。保证不会出现热点问题,也就是物理上不过期。
- 资源保护。使用 netflix 的 hystrix,可以做各种资源的线程池隔离,从而保护主线程池。
- 如果缓存数据库是分布式部署,将热点数据均匀分布在不同的缓存数据库中。
- 缓存的高可用性
缓存层设计成高可用,防止缓存大面积故障。即使个别节点、个别机器、甚至是机房宕掉,依然可以提供服务,例如 Redis Sentinel 和 Redis Cluster 都实现了高可用。 - 缓存降级
可以利用 ehcache 等本地缓存(暂时支持),但主要还是对源服务访问进行限流、资源隔离(熔断)、降级等。当访问量剧增、服务出现问题仍然需要保证服务还是可用的。系统可以根据一些关键数据进行自动降级,也可以配置开关实现人工降级,这里会涉及到运维的配合。降级的最终目的是保证核心服务可用,即使是有损的。比如推荐服务中,很多都是个性化的需求,假如个性化需求不能提供服务了,可以降级补充热点数据,不至于造成前端页面是个大空白。在进行降级之前要对系统进行梳理,比如:哪些业务是核心(必须保证),哪些业务可以允许暂时不提供服务(利用静态页面替换)等,以及配合服务器核心指标,来后设置整体预案,比如:
①一般:比如有些服务偶尔因为网络抖动或者服务正在上线而超时,可以自动降级;
②警告:有些服务在一段时间内成功率有波动(如在95~100%之间),可以自动降级或人工降级,并发送告警;
③错误:比如可用率低于90%,或者数据库连接池被打爆了,或者访问量突然猛增到系统能承受的最大阀值,此时可以根据情况自动降级或者人工降级;
④严重错误:比如因为特殊原因数据错误了,此时需要紧急人工降级。 - Redis 备份和快速预热
①Redis 数据备份和恢复
②快速缓存预热 - 使用互斥锁。在缓存失效后,通过加锁或者队列来控制读和写数据库的线程数量。比如:对某个 key 只允许一个线程查询数据和写缓存,其他线程等待。单机可以使用 synchronized或者lock来解决;分布式环境可以用Redis 的 setnx 命令来解决。
- 提前演练
建议还是在项目上线前,演练缓存层宕掉后,应用以及后端的负载情况以及可能出现的问题,对高可用提前预演,提前发现问题。
四、缓存并发
这里的并发指的是多个 Redis 的 client 同时 set key 引起的并发问题。其实Redis 自身就是单线程操作,多个 client 并发操作,按照先到先执行的原则,先到的先执行,其余的阻塞。当然,另外的解决方案是把 redis.set 操作放在队列中使其串行化,必须得一个一个执行。
五、缓存预热
缓存预热目的就是在系统上线前,将相关的缓存数据直接加载到缓存系统。这样就可以避免在用户请求的时候,先查询数据库,然后再将数据缓存的问题!
解决思路:
- 直接写个缓存刷新页面,上线时手工操作下。
- 数据量不大,可以在项目启动的时候自动进行加载。
缓存穿透、击穿、雪崩相关推荐
- Redis缓存穿透击穿雪崩
目录 1.缓存穿透 2.缓存击穿 3.缓存雪崩 1.缓存穿透 概述: 缓存穿透的概念很简单,用户想要査询一个数据,发现redis内存数据库没有,也就是缓存没有命中,于是向持久层数据库査询.发现也数据库 ...
- Redis缓存/穿透/击穿/雪崩
目录 1 缓存穿透 1.1 问题描述 1.2 产生原因 1.3 解决方案 2 缓存击穿 2.1 问题描述 2.2 解决方案 3 缓存雪崩 3.1 问题描述 3.2 解决方案: 1 缓存穿透 1.1 问 ...
- 一文搞懂Redis缓存穿透/击穿/雪崩
缓存穿透 问题描述 缓存穿透是指查询一个一定不存在的数据,由于缓存时不命中的,则需要从数据库中查询.查不到数据则不写入缓存,这将导致这个不存在的数据每次请求都要到数据库中去查询,进而增大了数据库的压力 ...
- 二十七、Redis缓存穿透和雪崩(完)
Redis缓存穿透和雪崩 一.服务的高可用问题 在这里我们不会详细的区分析解决方案的底层! Redis缓存的使用,极大的提升了应用程序的性能和效率,特别是数据查询方面.但同时,它也带来了一些问题.其中 ...
- Redis11_缓存穿透和雪崩
Redis11_缓存穿透和雪崩 缓存穿透 用户查询某个数据时,会先在redis缓存中查询,如果缓存没有命中,会去持久层数据库MySQL中查询,如果此时依然没有命中,将返回null,不会写入缓存. 当同 ...
- Redis全部知识总结(概念、安装、用法、数据类型、事务、持久化、Jeids、订阅系统、缓存穿透及雪崩等)
Redis NoSql简述 Nosql概念 Nosql的四大分类 Redis概述 Redis的安装 安装文件 Window下安装 Linux下安装 redis-benchmark 压力测试工具 五大数 ...
- 21_Redis_浅析Redis缓存穿透和雪崩
为什么了解缓存穿透和雪崩:保证服务的高可用问题 Redis缓存的使用,极大的提升了应用程序的性能和效率,特别是数据查询方面.但同时,它也带来了一些问题.其中,最要害的问题,就是数据的一致性问题,从严格 ...
- Redis 缓存穿透、雪崩、缓存数据库不一致、持久化方式、分布式锁、过期策略
1. Redis 缓存穿透 1.1 Redis 缓存穿透概念 访问了不存在的 key,缓存未命中,请求会穿透到 DB,量大时可能会对 DB 造成压力导致服务异常. 由于不恰当的业务功能实现,或者外部恶 ...
- beyond compare4过期解决方法_面试必备:缓存穿透、雪崩解决方案及缓存击穿的四种解决方案...
前言 设计一个缓存系统,不得不要考虑的问题就是:缓存穿透.缓存击穿与失效时的雪崩效应. 缓存穿透 缓存穿透是指查询一个一定不存在的数据,由于缓存是不命中时被动写的,并且出于容错考虑,如果从存储层查不到 ...
- mysql数据库击穿_面试中经常出现的缓存穿透、雪崩和击穿到底是什么?
对于缓存穿透.缓存雪崩和缓存击穿常常出现在面试中,今天来看看它到底是何方神圣 redis缓存穿透 理解重在穿透吧,也就是访问透过redis直接经过mysql,通常是一个不存在的key,在数据 ...
最新文章
- kalilinux安装搜狗输入法
- 从大型主机到个人计算机:机器人产业可以从pc普及革命中学到什么?
- 最牛B隐藏文件(续)
- 天翼云从业认证(3.4)云数据库
- HDU - 2049 不容易系列之(4)——考新郎(错排问题+组合数学)
- window安装python3后怎么用pyspark_window10搭建pyspark(超级详细)
- JAVA学习--面向对象的特征二:继承性
- 从矩阵分解到FM的演进、FM如何用于召回和排序以及实现说明
- LigerUI之Grid使用详解(三)——字典数据展示
- 基于行政区划的百度个性化地图及遥感影像栅格瓦片下载合成器(可叠加行政区划,适合用作科研遥感影像附图)
- wincc如何实现web发布,及具体方法
- Windows常用cmd命令总结
- 高德地图打包后不能使用,高德导航View不显示,高德地图导航组件黑屏的问题;
- Sereja and Swaps
- c语言程序输入与输出函数,C语言printf()和scanf()函数?其实就是输入输出
- python爬取携程网旅游_爬虫之携程网旅游信息爬取
- 计算机与科技小故事,科学童话小故事大全【三篇】
- 教你如何寻找更多的外链
- 纪念计算机科学之父阿兰·图灵诞辰109周年
- 每天一个linux命令:chgrp
热门文章
- linux 无法定位程序,三步搞定无法定位程序输入点 于动态链接库上
- primeng的Tree初始化选中,实现联动效果
- 【附源码】Python计算机毕业设计农田节水灌溉监测系统
- python re模块_python 正则表达式 (重点) re模块
- HDUOJ 4513 吉哥系列故事——完美队形II
- List、Map 与json转换的工具类
- 打开secpol.msc、gpedit.msc显示“试图引用不存在的令牌”,复制到其他目录可正常打开
- <ESP8266>WIFI模块AT指令浅学
- 关于重装系统前的准备、备份和重装完后系统优化、使用习惯等说明
- 什么是BASE最终一致性