redis系列之数据库与缓存数据一致性解决方案
                                                                                  -- 来自中华石杉老师视频

数据库与缓存读写模式策略
写完数据库后是否需要马上更新缓存还是直接删除缓存?

(1)、如果写数据库的值与更新到缓存值是一样的,不需要经过任何的计算,可以马上更新缓存,但是如果对于那种写数据频繁而读数据少的场景并不合适这种解决方案,因为也许还没有查询就被删除或修改了,这样会浪费时间和资源

(2)、如果写数据库的值与更新缓存的值不一致,写入缓存中的数据需要经过几个表的关联计算后得到的结果插入缓存中,那就没有必要马上更新缓存,只有删除缓存即可,等到查询的时候在去把计算后得到的结果插入到缓存中即可。

所以一般的策略是:

当更新数据时,先删除缓存数据,然后更新数据库,而不是更新缓存,等要查询的时候才把最新的数据更新到缓存

数据库与缓存双写情况下导致数据不一致问题

场景一

当更新数据时,如更新某商品的库存,当前商品的库存是100,现在要更新为99,先更新数据库更改成99,然后删除缓存,发现删除缓存失败了,这意味着数据库存的是99,而缓存是100,这导致数据库和缓存不一致。

场景一解决方案

这种情况应该是先删除缓存,然后在更新数据库,如果删除缓存失败,那就不要更新数据库,如果说删除缓存成功,而更新数据库失败,那查询的时候只是从数据库里查了旧的数据而已,这样就能保持数据库与缓存的一致性。

场景二

在高并发的情况下,如果当删除完缓存的时候,这时去更新数据库,但还没有更新完,另外一个请求来查询数据,发现缓存里没有,就去数据库里查,还是以上面商品库存为例,如果数据库中产品的库存是100,那么查询到的库存是100,然后插入缓存,插入完缓存后,原来那个更新数据库的线程把数据库更新为了99,导致数据库与缓存不一致的情况

场景二解决方案

遇到这种情况,可以用队列的去解决这个问,创建几个队列,如20个,根据商品的ID去做hash值,然后对队列个数取摸,当有数据更新请求时,先把它丢到队列里去,当更新完后在从队列里去除,如果在更新的过程中,遇到以上场景,先去缓存里看下有没有数据,如果没有,可以先去队列里看是否有相同商品ID在做更新,如果有也把查询的请求发送到队列里去,然后同步等待缓存更新完成。
这里有一个优化点,如果发现队列里有一个查询请求了,那么就不要放新的查询操作进去了,用一个while(true)循环去查询缓存,循环个200MS左右,如果缓存里还没有则直接取数据库的旧数据,一般情况下是可以取到的。


在高并发下解决场景二要注意的问题

(1)读请求时长阻塞
 由于读请求进行了非常轻度的异步化(队列),所以一定要注意读超时的问题,每个读请求必须在超时间内返回,该解决方案最大的风险在于可能数据更新很频繁,导致队列中挤压了大量的更新操作在里面,然后读请求会发生大量的超时,最后导致大量的请求直接走数据库,像遇到这种情况,一般要做好足够的压力测试,如果压力过大,需要根据实际情况添加机器。

(2)请求并发量过高
 这里还是要做好压力测试,多模拟真实场景,并发量在最高的时候QPS(每秒查询率QPS是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。)多少,扛不住就要多加机器,还有就是做好读写比例是多少

(3)多服务实例部署的请求路由
可能这个服务部署了多个实例,那么必须保证说,执行数据更新操作,以及执行缓存更新操作的请求,都通过nginx服务器路由到相同的服务实例上

也即是说,部署了多台redis,缓存更新要更新到正确的机器上!

(4)热点商品的路由问题,导致请求的倾斜
某些商品的读请求特别高,全部打到了相同的机器的相同队列里了,可能造成某台服务器压力过大,因为只有在商品数据更新的时候才会清空缓存,然后才会导致读写并发,所以更新频率不是太高的话,这个问题的影响并不是很大,但是确实有可能某些服务器的负载会高一些。

数据库:redis和MySQL如何做到数据的一致性?相关推荐

  1. 冷热分离和直接使用大数据库_基于 MySQL 的热数据与冷数据分离设计与实现

    作为一家提供商业气象数据服务的创业公司,我们一直都有一项「欠交的作业」没有完成,那就是合理的数据规划和数据治理规范.对于早期的初创公司而言,可能很难从一开始就能构想到需要对数据存储进行合理的规划并制定 ...

  2. MySQL数据库基础(mysql数据类型、数据表的操作)

    一.MySQL数据类型 1.数值类型 作为SQL标准的扩展,MySQL也支持整数类型TINYINT.MEDIUMINT和BIGINT.下面的表显示了需要的每个整数类型的存储和范围: MySQL数值类型 ...

  3. PHP将sql文件导入mysql数据库及将mysql中的数据表导出为 sql文件

    导入: 1.(运行环境为wamp)浏览器地址栏输入http://localhost/phpmyadmin/,进入phpmyadmin首页. 2.在左边目录选择要加入的数据库 3.点击上方import按 ...

  4. 〖Python 数据库开发实战 - MySQL篇㉑〗- 数据表的外连接

    万叶集

  5. 〖Python 数据库开发实战 - MySQL篇⑮〗- 数据表结果集的排序与去除重复(去重)

    万叶集

  6. 〖Python 数据库开发实战 - MySQL篇㉖〗- 数据删除操作 - DELETE语句

    订阅 Python全栈白宝书-零基础入门篇 可报销!白嫖入口-请点击我.推荐他人订阅,可获取扣除平台费用后的35%收益,文末名片加V! 说明:该文属于 Python全栈白宝书专栏,免费阶段订阅数量43 ...

  7. 〖Python 数据库开发实战 - MySQL篇㉔〗- 数据插入操作 - INSERT语句

    万叶集

  8. python批量导入mysql_用python批量向数据库(MySQL)中导入数据

    用python批量向数据库(MySQL)中导入数据 现有数十万条数据,如下的经过打乱处理过的数据进行导入 数据库内部的表格的数据格式如下与下面的表格结构相同 Current database: pyt ...

  9. 如何保持mysql和redis中数据的一致性?

    Redis 的数据一致性方案分析 一般的业务场景都是读多写少的,当客户端的请求太多,对数据库的压力越来越大,引入缓存来降低数据库的压力是必然选择,目前业内主流的选择基本是使用 Redis 作为数据库的 ...

最新文章

  1. yocto linux dns,yocto-sumo源码解析(一): o
  2. 什么是常驻内存式的开发模式?_“直播+”模式下的直播系统开发需要注意什么问题?...
  3. 《GPUPro》笔记
  4. java逆向框架,Android逆向之逆向框架层
  5. NB-IoT适用于电子门锁通信吗?
  6. centos7赋予全部权限_终结CentOS 7+Snort2.9+BASE 安装
  7. APP天气预报界面设计灵感
  8. 【PL/SQL】 学习笔记 (3)if 语句使用
  9. 图解 Git,一目了然!
  10. 拉开中兴帷幕 张朝阳再造搜狐
  11. SVT和ULVTcell比较
  12. 关于STM8的程序下载问题:SWIM Error[30006]报错解决办法汇总
  13. C++/C语言中十进制转二进制的常见方法
  14. docker安装elasticsearch内存修改
  15. python智能合约编程_如何用Python Flask开发以太坊智能合约
  16. ubuntu 14.04.5 编译Android 4.4.4 r1源码(最新)
  17. C++开启后台线程监听控制台输入实现按任意键退出
  18. 佛学常见辞汇(十五画)
  19. Swift SoundAnalysis——对文件音频进行分析
  20. php$paty,2020年Web网站开发-中国大学mooc-题库零氪

热门文章

  1. Linuxshell之结构化命令
  2. 用C++/CLI搭建C++和C#之间的桥梁(三)—— 基本类型
  3. jquery判断checkbox是否选中及改变checkbox状态
  4. 程序员如何开始新的工作(转)
  5. Spring 更好地处理 Struts 动作
  6. ubuntu source
  7. linux内存管理——kmalloc和vmalloc
  8. 设计模式-结构型-桥接
  9. mysql修改界面代码_mysql修改编码
  10. 用LIBSVM做回归和预测的步骤