微服务--数据一致性
本篇文章讲解微服务数据一致性相关的知识
一、案例
在使用微服务时,存在跨多个服务更新数据库数据的情况。那么这就会出现一个问题,比如我们有三个服务(如下图),正常情况下,当一个请求进来时,服务1到服务3会分别改变其数据库中存储的数据,但是如果出现部分服务网络不通或者部分服务失效的情况,那么整个服务调用链就会失效,进而出现部分服务更新数据库成功,而剩余服务更新数据库失败的情况,这就出现了所谓了数据不一致。
在我们实际项目中只要涉及数据一致性的问题,就可以分为两种情况:
- 可实时数据不一致,但最终数据必须一致(最终一致性)
- 实时数据必须一致
针对这两种情况我们分别来看一下如何解决。
二、最终一致性
要解决这个问题,最好的办法是引入MQ,思路如下:
- 每个步骤完成后,就生成一条消息发送到MQ中,告知开始进行下一步处理;
- 消费者收到消息后,开始进行处理,处理完成后同样生成一条消息发送给MQ;
- 如果消费者处理失败,那么这条消息就保留,直到下次重试成功为止;
一图胜千言,简要图示如下:
- 客户端调用服务1,服务1修改数据库,然后生成消息1发送给MQ,服务1向客户端返回成功信息;
- 服务2监听到消息1后,修改数据库,然后生成消息2发送给MQ,最后将消息1设置为已消费;
- 服务3监听到消息2后,修改数据库,然后将消息2设置为已消费。
上面这三个步骤是在理想情况下才会出现的,但是在实际情况中可能会出现部分服务不可用的情况,那么该怎么解决呢?我们来说一下。
编号 | 问题 | 解决方法 |
---|---|---|
1 | 服务1不可用 | 直接返回失败信息给客户端 |
2 | 服务1可用,但修改修改数据库失败 | 利用本地事务回滚数据,并向客户端返回失败信息 |
3 | 服务1可用,数据库也修改成功了,但是给MQ发送消息失败 | 利用本地事务将数据回滚,并向客户端返回失败信息 |
4 | 服务1返回客户端信息失败 | 不处理 |
5 | 服务2监听消息1失败 | 利用MQ机制,不需要特意处理 |
6 | 服务2修改数据库失败 | 利用本地事务回滚数据在利用消息重试的特性重新从第5步开始 |
7 | 服务2将生成的消息2发送给MQ失败 | MQ有生成消息失败的重试机制,不需要特意处理,即是说服务其崩溃了也没问题,因为消息1还没被标记为已消费,因此可以由其他消费者重新从第5步骤开始执行 |
8 | 服务2将消息1标记为已消费失败 | MQ有重试机制,会找另一个消费者重新从第5步骤开始 |
9 | 服务3监听消息2失败 | 同步骤5 |
10 | 服务3修改数据库失败 | 同步骤6 |
11 | 服务3将消息2标记为已消费失败 | 同步骤8 |
上面的解决方案看似完美,其实存在两个问题:
- 方案利用了MQ的重试机制,因此在步骤6和步骤10重复执行的情况下, 有可能出现重复数据,因此在下游步骤执行时需要保业务代码的幂等性‘
- 存在大量的重复代码,因此需要将MQ相关的业务代码抽出来做成一个公共代码。
三、实时一致性
实时一致性,就是所谓的分布式事务,常用的方案有TCC模式和AT模式
3.1 TCC模式
TCC模式会把一个接口拆分成三个接口:
- Try接口:检查数据、预留业务资源();
- Confirm接口:确认实际业务操作、更新业务资源;
- Cancel接口:释放Try接口中预留的资源(回滚数据)。
这个解决方案核心就是如果在执行业务代码的过程中出现了异常/错误,需要手动调用回退方法。它将原本只需要在一个接口里写的回退方法,分布到了三个阶段,因此需要注意以下问题:
- 要保证每个服务的Try接口执行成功后,Confirm接口在业务逻辑上也能执行成功;
- 如果Try接口执行失败,一定要保证Cancel接口执行成功,正确回滚;
- 如果因为网络堵塞导致Try接口执行超时并触发了Cancel接口的功能,那么在后续Try接口执行到服务时应该予以拒绝;
- 三个接口必须保证幂等性;
- 因为在整个事务期间数据库一致处于临界状态,因此其他请求数据时要考虑如何正确返回数据。
3.2 AT模式
AT模式,就是所谓的自动回滚,他就比较简单的,对于支持该模式的框架来说只需在代码上引入注解即可。AT模式的执行步骤大致如下:
- 解析并记录每个服务执行的SQL和SQL类型,修改表并更新SQL条件等;
- 根据上一步的条件信息生成查询语句,并记录修改前的数据镜像;
- 执行业务SQL;
- 记录修改后的数据镜像;
- 插入回滚日志,将前后镜像数据和业务SQL组合成日志插入到回滚日志中;
- 提交前向TC注册分支,并申请修改数据行的全局锁;
- 将业务数据的更新和第五步生成的回滚日志一起向本地事务提交;
- 本地事务将提交结果上报事务管理器;
- 如果需要回滚,事务管理器回发送发出分支回滚请求,并开启一个本地事务;
- 查找回滚日志记录;
- 数据校验,对比回滚日志记录中后镜像数据是否和当前数据一致,如果不一致就说明数据已被修改,这时具体该怎么做就由配置的策略来决定了;
- 根据回滚日志中的前镜像数据和业务SQL等相关信息生成回滚语句并执行;
- 把执行结果提交给事务管理器;
- 事务管理器发出分支提交请求,将请求放入异步任务队列里;
- 在异步任务阶段,将批量相应的回滚记录。
小结
解决数据一致性,就是这么简单。
微服务--数据一致性相关推荐
- 《微服务设计原理与架构》书籍知识点总结
本书是一本微服务书籍的详细的介绍书籍. 主要从直面微服务架构.服务建模方法.服务的拆分与集成.微服务架构的基本组件.微服务架构的关键要素.微服务架构的实现技术.微服务架构的管理体系.面向微服务架构的转 ...
- Choerodon猪齿鱼微服务后端环境变量方案
Choerodon猪齿鱼平台使用微服务架构进行开发,部署在Kubernetes 扩展中,并且服务新功能开发完成后会被依次部署到暂存环境测试,UAT 环境验收和生产环境使用.在这多个多个环境的部署过程中 ...
- 微服务场景下的数据一致性解决方案
数据一致性是构建业务系统需要考虑的重要问题 , 以往我们是依靠数据库来保证数据的一致性.但是在微服务架构以及分布式环境下实现数据一致性是一个很有挑战的的问题.ServiceComb作为开源的微服务框架 ...
- Spring Cloud Alibaba 一致性挑战:微服务架构下的数据一致性解决方案
本讲咱们填之前埋下的一个坑,如何在微服务架构下有效保障数据一致性问题.本讲咱们涉及三方面内容: CAP 原则与 BASE 定理: TCC 一致性解决方案: Seata TCC 模式. 首先咱们了解什么 ...
- Re:从 0 开始的微服务架构--(四)如何保障微服务架构下的数据一致性--转
原文地址:http://mp.weixin.qq.com/s/eXvoJew3bjFKzLLJpS0Otg 随着微服务架构的推广,越来越多的公司采用微服务架构来构建自己的业务平台.就像前边的文章说的, ...
- 微服务架构下,解决数据一致性问题的实践
Pic by Alibaba Tech on Facebook 随着业务的快速发展,应用单体架构暴露出代码可维护性差.容错率低.测试难度大和敏捷交付能力差等诸多问题,微服务应运而生.微服务的诞生一方面 ...
- 微服务架构下,解决数据一致性问题的实践 1
随着业务的快速发展,应用单体架构暴露出代码可维护性差.容错率低.测试难度大和敏捷交付能力差等诸多问题,微服务应运而生.微服务的诞生一方面解决了上述问题,但是另一方面却引入新的问题,其中主要问题之一就是 ...
- 微服务Apache ServiceComb 数据一致性Saga演进介绍
2019独角兽企业重金招聘Python工程师标准>>> ServiceComb数据一致性解决方案Saga演进介绍 本文转自 微服务 开源项目 Apache ServiceComb ( ...
- 如何解决微服务的数据一致性分发问题
介绍 系统架构微服务化以后,根据微服务独立数据源的思想,每个微服务一般具有各自独立的数据源,但是不同微服务之间难免需要通过数据分发来共享一些数据,这个就是微服务的数据分发问题.Netflix/Airb ...
最新文章
- 【Ubuntu】Ubuntu下的录频软件SimpleScreenRecorder
- 通过VNC Viewer使用VMware虚拟机的远程桌面连接
- 在一个无序的int数组上构建一个最小堆的时间复杂度_漫画:寻找无序数组的第k大元素(修订版)...
- crypto++使用DES加密(ECB pkcs7padding )
- ashx 绝对路径得到物理路径
- 解决Warning: Cannot modify header information – headers already sent by
- 让皮肤美白细致的七大DIY - 生活至上,美容至尚!
- TStringGrid - 重绘时RECT解决一块空白区域
- pthread_mutex_lock的作用
- ubuntu恢复出厂设置_苹果恢复出厂设置,小编告诉你苹果手机怎么恢复出厂设置?...
- 联想m7400 linux驱动下载,联想M7400W驱动-联想M7400W打印机驱动下载 v1.6.0.0官方版--pc6下载站...
- lighty2.0沙箱版本的协议和配置分析采用ragel 成功案例
- 又有朋友被骗入传销了!
- SAM4E单片机之旅——21、DMAC之USART回显
- Android 重读官方文档 1
- 美容院共享系统开发|共享模式具体应该怎么去做?
- ganache命令行安装
- Idea 导包自动变成星号 Idea 导包自动变成*号的问题 java.io.* Idea 自动导包变成星号
- 入侵服务器挖矿和诈骗事件频发 | 零时科技区块链安全周报
- Kubeadm部署Kubernetes1.18.6集群1
热门文章
- LABVIEW2020 如何实现自加1
- ACM-动态规划21-三角形最长路径问题
- 小米电脑装linux系统怎么安装驱动,小米手机驱动程序怎么安装(为刷机准备)图文步骤...
- 监管数据治理治什么?1104、EAST、客户风险系统数据简介
- 清华大学计算机应用复试题目,2017年清华大学自动化系复试及试题回忆
- 仿有道词典应用项目源码
- Monocular实例运行
- 5万人在阿里数学大赛比高下,6道题开卷考72小时,连小学生都来了
- Epic Games 研究:Fortnite 和游戏行业的未来
- 身份云平台 Authing 完成 2300 万美元 A 轮融资