重要的节日那么多,要及时「缓存」你们的珍贵时光
作者 | 后端学长
责编 | Carol
出品 | 程序员 cxuan
缓存概述
在很久很久以前人类和洪水作斗争的过程中,水库发挥了至关重要的作用 : 在发洪水时可以蓄水,缓解洪水对下游的冲击;在干旱时可以把库存的水释放出来以供人们使用。这里的水库就起着缓存
的作用。在如今互联网的世界里随着互联网的普及,内容信息越来越复杂,用户数和访问量越来越大,我们的应用需要支撑更多的并发量,同时我们的应用服务器
和数据库服务器
所做的计算也越来越多。
但是往往我们的应用服务器资源是有限的,且服务器技术变革是缓慢的,数据库每秒能接受的请求次数也是有限的,那么如何能够有效利用有限的资源来提供尽可能大的吞吐量呢?一个有效的办法就是引入缓存,打破标准流程,每个环节中请求可以从缓存中直接获取目标数据并返回,从而减少计算量,有效提升响应速度,让有限的资源服务更多的用户。
缓存的定义
缓存就是数据交换的缓冲区(称作Cache)
,这个概念最初是来自于内存和 CPU。当某一硬件要读取数据时,会首先从缓存中查找需要的数据,如果找到了则直接使用执行,缓存找不到的话则从内存中找。由于缓存的运行速度比内存快得多,故缓存的作用就是帮助硬件更快地运行。
缓存的分类
当用户从键入一个地址到页面的展示过程中通常包含了很多种缓存。有前端缓存、本地缓存(协商缓存,强缓存等)到我们的网关缓存(CDN 缓存)、最后到我们服务端缓存。服务端缓存又区分为进程缓存(本地缓存),还有比较火的分布式缓存,最后到了数据库层面的缓存。如下图所示:
缓存是一把双刃剑
在我们通常的软件设计中,有一些热点数据需要展示到页面,我们通常当这些数据缓存到内存或者其他读写速度优异的框架中。减少与数据库进行 I/O 操作。提升数据的响应速度。这一切看起来就是这么完美。
实际上,在缓存系统的设计架构中,还有很多坑。如果设计不当会导致很多严重的后果。设计不当,轻则请求变慢、性能降低,重则会数据不一致、系统可用性降低,甚至会导致缓存雪崩,整个系统无法对外提供服务。
接下来我们着重讲述一下在缓存设计过程中几大经典的问题。
缓存失效
先解释一下什么叫做缓存失效
我们在存放缓存的时候,可以指定缓存 Key 的失效时间,当失效时间到了,此缓存就会失效,由于在缓存中找不到该数据,所以这个时候如果用户有请求该数据就绕过缓存直接到数据库中请求数据。
看到这里小伙伴们肯定有很多问号?
这不是很正常的现象嘛?为什么要把这个问题拿出来说呢?莫急看下图图示
这里我们通过两个场景来说明一下
场景一
:这种情况下一般不会对数据库造成比较严重的影响,因为失效的 key 的数量比较少,即使同时请求到数据库层面也是可以接受的。场景二
:在这种场景中,当缓存里面的大量 Key同时
失效,这个时候如果有请求过来,会穿过失效的 Key全部落到数据库层面。导致数据库的负荷瞬间添加。可能会出现数据库宕机等特大事故。
解决方案
看到这里很多聪明的小伙伴其实已经想到了。场景 2 的事故主要因为很多 key 一起失效的原因,跟我们日常写缓存的过期时间息息相关。如果我们在日常的开发过程中需要将一批 Key 设置到缓存中并制定失效时间。这个时候就要注意场景 2 发生的情况。我们可以在失效时间 + 随机时间。避免大量 Key 失效冲击我们的数据库。
缓存击穿
通常情况下,我们去查询数据都是存在的。那么如果请求去查询一条压根儿数据库中根本就不存在的数据,也就是缓存和数据库都查询不到的这条数据会怎么样呢?这样会导致每次访问都会直接打到数据库上面去。这种查询不存在数据的现象我们称为缓存穿透
。
下面是缓存失效的场景。
很多伙伴看到这里肯定又会觉得这是一件很正常的事情。试想一下,如果有黑客会对你的系统进行攻击,拿一个不存在的 key 不停的去查询数据,会产生大量的请求到数据库去查询。可能会导致你的数据库由于压力过大而宕掉。
解决方案一
首先我们能想到的就是在网关参数进行过滤。校验请求的 key 是否是我们系统 key 的格式等
当然这网关层所能做到的只是一些简单过滤。每个后端的设计人员应该对服务的可用性和健壮性负责。接下来我们看看服务端应该如何处理
服务端可以将不存在的 key 暂时保存到我们的缓存中,再次接收到同样的请求后如果直接命中缓存并且值为空那么就会直接返回,不会穿透到数据库层面,这样就避免了缓存击穿。
但是黑客/恶意攻击者是不会这么轻易被打发的。每次请求都会传不同的 key 来攻击我们的服务。这个时候这个方案起不到作用了。
解决方案二
构建一个 BloomFilter(布隆过滤器)
缓存过滤器,记录全量数据。这样访问数据时,可以直接通过 BloomFilter 判断这个 key 是否存在,如果不存在直接返回即可,根本无需查缓存和 DB。这样在缓存之前加了一层校验。如果key 值不存在,就不会请求到我们的缓存更加不会到我们的数据库中。
布隆过滤器可以理解为一个不怎么精确的
set
结构,当你使用它的 contains 方法判断某个对象是否存在时,它可能会误判。但是布隆过滤器也不是特别不精确,只要参数设置的合理,它的精确度可以控制的相对足够精确,只会有小小的误判概率。当布隆过滤器说某个值存在时,这个值可能不存在;当它说不存在时,那就肯定不存在。即使误判不存在走到缓存和后端服务也是可以接受的。
缓存雪崩
缓存雪崩是指缓存的部分节点不可用导致整个缓存体系甚至整个服务系统不可用。
那么你可能会有疑问,缓存雪崩和缓存击穿有什么关系呢?
从概念上来看,缓存击穿是因为查询不存在的 key 穿透缓存直接访问我们的数据库。而缓存雪崩是因为我们的缓存节点不可用,请求未经过缓存就直到了我们的数据库层面。然而两者都会影响我们的服务稳定性。
缓存节点的不可用会导致缓存雪崩,那么我们缓存组件集群部署是不是就解决了这个问题呢?
集群部署有两种情况:
一种就是简单的主从例如 redis 的哨兵之殇
采取一致性 hash 算法集群部署例如 redis 的分片集群
第一种情况:发送雪崩的时候一般是多个节点同时不可用,例如我们的节点服务器内容不足,虽然分主从节点都是存储的数据都是一样的。如果缓存中的数据过大导致节点不可用。那大部分节点也会存在这个问题。请求会大面积的落到数据库层面导致后端系统崩溃。
第二种情况: 首先看一下下图虽然数据根据会根据取模算法分配到不同的节点中,假设节点 A 不可用,数据 A 会按照逆时针找到节点 B,会因为本来应该存放到节点 A 的数据存放到节点 B,以此类推会导致整个缓存节点不可用。请求也会大面积落到我们后端的数据库层面导致系统崩溃。
解决方案
对缓存体系进行实时监控,当请求访问的慢速比超过阀值时,及时报警,通过机器替换、服务替换进行及时恢复。
对缓存增加多个副本,缓存异常或请求 miss 后,再读取其他缓存副本。
ehcache 本地缓存 + Hystrix 限流&降级,避免 MySQL被打死
业务 DB 的访问增加读写开关,当发现 DB 请求变慢、阻塞,慢请求超过阀值时,就会关闭读开关,部分或所有读 DB 的请求进行 failfast 立即返回,待 DB 恢复后再打开读开关。
数据不一致
数据不一致的概念很简单:就是缓存中的数据和数据库中的数据不一致。
那为什么会不一致呢?我们的数据被缓存之后,一旦数据被修改(修改时也是删除缓存中的数据)或删除,我们就需要同时操作缓存和数据库。这时就会存在一个数据不一致的问题。
如上图所示当我们先删除数据库再去操作缓存,缓存中未删除数据库其实已经不存在该数据了。这个时候就会出现缓存不一致的情况。
聪明的小伙伴肯定想到了我们还是需要先做缓存删除操作,再去完成数据库操作。则会去数据库中查询,如果缓存中没有该数据,则会去数据库中查询,之后再放入到缓存中。这样就完美了嘛?答案肯定不会这么简单。请看下图:
解决方案
这里其实没有什么很完美的解决方法。可以将变更的 key 添加到安全队列中。当另一个查询请求 B 进来时,如果发现缓存中没有该值,则会先去队列中查看该数据是否正在被更新或删除,如果队列中有该数据,则阻塞等待,直到 A 操作数据库成功之后,唤醒该阻塞线程,再去数据库中查询该数据。这里其实也是有很多缺陷的。线程需要阻塞等待。
最好的解决方案就是如果数据更新比较频繁且对数据有一定的一致性要求,我通常不建议使用缓存。看到这里是不是发出了一句切!!!!
总结
缓存虽然能大幅度的提高服务器的性能以及用户的体验感。但是随着而来的就是各种由于缓存导致的一系列问题。所以当我们使用缓存的过程中需要注意以上的经典问题。
推荐阅读
在 520 这天,竟然有人把 Docker讲清楚了? | 原力计划
如何使用 SQL Server FILESTREAM 存储非结构化数据?这篇文章告诉你!
对不起,我把APP也给爬了
平安科技王健宗:所有 AI 前沿技术,都可以在联邦学习中大展身手!
踢翻这碗狗粮:程序员花 7 个月敲出 eBay,只因女票喜欢糖果盒!
又一年5.20,用Python助力程序员脱单大攻略(视频版)
斗地主吗?能学区块链那种! | 原力计划
真香,朕在看了!
重要的节日那么多,要及时「缓存」你们的珍贵时光相关推荐
- 今天520,要及时「缓存」你们的珍贵时光。
文章源自公众号:后端学长投稿 这是程序员cxuan的第 9 篇原创分享 1 缓存概述 在很久很久以前人类和洪水作斗争的过程中,水库发挥了至关重要的作用 : 在发洪水时可以蓄水,缓解洪水对下游的冲击:在 ...
- Linux 小知识翻译 - 「代理服务器」
这回聊聊「代理服务器」. 在公司里,不通过代理服务器无法连接互联网的,由于代理服务器的原因,有些服务的使用是受到限制的. 有人可能会觉得为什么会存在这种东西?(这里指代理服务器) Proxy本来的意思 ...
- 8个月打磨,一份送给程序员的「分布式系统」合集
这里是Z哥的个人公众号 每周五早8点 按时送达 当然了,也会时不时加个餐- 我的第「75」篇原创敬上 整理好的文章目录在文末,可直接拉到最后 是的,这份礼物最佳受众是程序员.但是,如果你不是程序员,相 ...
- 分布式系统关注点(19)——深入浅出「异步」
如果第二次看到我的文章,欢迎「文末」扫码订阅我个人的公众号(跨界架构师)哟~ 每周五早8点 按时送达到公众号.当然了,也会时不时加个餐- Z哥在前面的三篇文章里和你一起聊了「高性能」主题下与「缓存」 ...
- 【LOJ】#3103. 「JSOI2019」节日庆典
LOJ#3103. 「JSOI2019」节日庆典 能当最小位置的值一定是一个最小后缀,而有用的最小后缀不超过\(\log n\)个 为什么不超过\(\log n\)个,看了一下zsy的博客.. 假如\ ...
- 教师节特辑丨网易云信:素质教育「名师」是如何炼成的?
又到一年教师节,在这个特殊的节日里,你的脑海中会浮现什么? 是老师们每天的谆谆教诲与循循善诱,还是他们带来的妙趣横生.灵动鲜活的课堂,亦或是他们创造的科技感十足.多维互动的教学模式? 说起教学模式,科 ...
- Loj #2568. 「APIO2016」烟花表演
Loj #2568. 「APIO2016」烟花表演 题目描述 烟花表演是最引人注目的节日活动之一.在表演中,所有的烟花必须同时爆炸.为了确保安全,烟花被安置在远离开关的位置上,通过一些导火索与开关相连 ...
- 人民创意联合《国家人文历史》独家首发「诗经」端午主题数字藏品
利用数字技术开展文物保护.文化传承在全世界已经成为了一股强劲的浪潮.中共中央办公厅.国务院办公厅近日印发的<关于推进实施国家文化数字化战略的意见>中提出,到"十四五"时 ...
- 大白天「撞鬼」?特斯拉在无人墓地感应到行人,传感器真能测鬼?
点击上方"CVer",选择加"星标"置顶 重磅干货,第一时间送达 本文转载自:新智元 来源:twitter | 编辑:小匀 [导读]特斯拉会通过传感器.摄像 ...
最新文章
- Go 1.5正式发布:实现自举、引入并发垃圾收集器
- “OMP: Error #15: Initializing libiomp5.dylib, but found libomp.dylib already initialized“ error
- 服务中没有listen_Go语言微服务框架实战:2.Go语言实现RPC编程绍
- [react] 什么是浅层渲染?
- java队列加锁_java并发-----浅析ReentrantLock加锁,解锁过程,公平锁非公平锁,AQS入门,CLH同步队列...
- 客户端的js js脚本的引入 js的解析过程
- 无人机在倾斜摄影时丢片的解决方案
- ng-model和ng-bind之间有什么区别
- 蓝桥杯刷题 -- 第六届蓝桥杯
- 为了背单词,我花了两天写了一款背单词小程序
- Java IO(非常详细)
- Activiti学习之根据条件判断流程走向
- 神山的方向至诚地祈祷、朝拜
- 水泊梁山迎圣诞,Python 抽奖助好汉
- 淘宝/天猫关键词搜索采集接口分析商品价格走势(商品列表,商品销量,商品价格,分类ID采集精准商品数据)接口代码对接流程
- ubuntu安装视频播放器
- c2-00支持java_诺基亚双卡双待C2-00亮相
- 有5个人坐在一起,问第五个人多少岁?(每一个数字对应的年龄应由上一个数字的年龄决定,考虑采用递归函数解决。)
- learn more ,study less(一):整体性学习策略
- 岁末忆今朝,辞旧话新潮——心灵与技术的聚合
热门文章
- 华为云RDP连接不上,校园网3389端口被屏蔽,修改云服务器远程连接端口
- DNF外i挂云霄见血
- 【三月英语——AJ相伴】
- 评测三款最流行的epub阅读器
- IntelliJ IDEA 断点调试
- 16.linux用户和组详解演练,useradd,usermod,chage,userdel,id,su,groups,passwd,shadow,group,gshadow等命令和文件
- 首届“天权信安catf1ag”网络安全联合公开赛-部分misc
- android settext 速度,Android TextView setText卡顿问题
- 提升办公技能 :9张超实用的计划表,帮你实现高效时间管理!
- VMWare 虚拟机系统 ping 不通主机解决方案