【双写迁移方案】实现动态切换实现分库分表
面试题
现在有一个未分库分表的系统,未来要分库分表,如何设计才可以让系统从未分库分表动态切换到分库分表上?
面试官心理分析
你看看,你现在已经明白为啥要分库分表了,你也知道常用的分库分表中间件了,你也设计好你们如何分库分表的方案了(水平拆分、垂直拆分、分表),那问题来了,你接下来该怎么把你那个单库单表的系统给迁移到分库分表上去?
所以这都是一环扣一环的,就是看你有没有全流程经历过这个过程。
面试题剖析
这个其实从 low 到高大上有好几种方案,我们都玩儿过,我都给你说一下。
停机迁移方案
我先给你说一个最 low 的方案,就是很简单,大家伙儿凌晨 12 点开始运维,网站或者 app 挂个公告,说 0 点到早上 6 点进行运维,无法访问。
接着到 0 点停机,系统停掉,没有流量写入了,此时老的单库单表数据库静止了。然后你之前得写好一个导数的一次性工具,此时直接跑起来,然后将单库单表的数据哗哗哗读出来,写到分库分表里面去。
导数完了之后,就 ok 了,修改系统的数据库连接配置啥的,包括可能代码和 SQL 也许有修改,那你就用最新的代码,然后直接启动连到新的分库分表上去。
验证一下,ok 了,完美,大家伸个懒腰,看看看凌晨 4 点钟的北京夜景,打个滴滴回家吧。
但是这个方案比较 low,谁都能干,我们来看看高大上一点的方案。
双写迁移方案
这个是我们常用的一种迁移方案,比较靠谱一些,不用停机,不用看北京凌晨 4 点的风景。
简单来说,就是在线上系统里面,之前所有写库的地方,增删改操作,除了对老库增删改,都加上对新库的增删改,这就是所谓的双写,同时写俩库,老库和新库。
然后系统部署之后,新库数据差太远,用之前说的导数工具,跑起来读老库数据写新库,写的时候要根据 gmt_modified 这类字段判断这条数据最后修改的时间,除非是读出来的数据在新库里没有,或者是比新库的数据新才会写。简单来说,就是不允许用老数据覆盖新数据。
导完一轮之后,有可能数据还是存在不一致,那么就程序自动做一轮校验,比对新老库每个表的每条数据,接着如果有不一样的,就针对那些不一样的,从老库读数据再次写。反复循环,直到两个库每个表的数据都完全一致为止。
接着当数据完全一致了,就 ok 了,基于仅仅使用分库分表的最新代码,重新部署一次,不就仅仅基于分库分表在操作了么,还没有几个小时的停机时间,很稳。所以现在基本玩儿数据迁移之类的,都是这么干的。
回复【干货】获取精选干货视频教程
回复【加群】加入疑难问题攻坚交流群
回复【mat】获取内存溢出问题分析详细文档教程
回复【赚钱】获取用java写一个能赚钱的微信机器人
回复【副业】获取程序员副业攻略一份
好文请点赞+分享
【双写迁移方案】实现动态切换实现分库分表相关推荐
- 数据库面试 - 如何设计才可以让系统从未分库分表动态切换到分库分表上?
数据库面试 - 如何设计才可以让系统从未分库分表动态切换到分库分表上? 面试题 现在有一个未分库分表的系统,未来要分库分表,如何设计才可以让系统从未分库分表动态切换到分库分表上? 面试官心理分析 你看 ...
- 现在有一个未分库分表的系统,未来要分库分表,如何设计才可以让系统从未分库分表动态切换到分库分表上?
问题 现在有一个未分库分表的系统,未来要分库分表,如何设计才可以让系统从未分库分表动态切换到分库分表上? 分析 你看看,你现在已经明白为啥要分库分表了,你也知道常用的分库分表中间件了,你也设计好你们如 ...
- Mycat 读写分离、主从切换、分库分表的操作记录
Mycat 读写分离.主从切换.分库分表的操作记录 系统开发中,数据库是非常重要的一个点.除了程序的本身的优化,如:SQL语句优化.代码优化,数据库的处理本身优化也是非常重要的.主从.热备.分表分库等 ...
- Mycat读写分离、主从切换、分库分表的操作记录 https://www.cnblogs.com/kevingrace/p/9365840.html
[此篇文章写得不错] 系统开发中,数据库是非常重要的一个点.除了程序的本身的优化,如:SQL语句优化.代码优化,数据库的处理本身优化也是非常重要的.主从.热备.分表分库等都是系统发展迟早会遇到的技术问 ...
- mysql分库方案_干货 : 常用MySQL分库分表方案
一.数据库瓶颈 不管是IO瓶颈,还是CPU瓶颈,最终都会导致数据库的活跃连接数增加,进而逼近甚至达到数据库可承载活跃连接数的阈值.在业务Service来看就是,可用数据库连接少甚至无连接可用.接下来就 ...
- 菜鸟积分系统稳定性建设 - 分库分表百亿级数据迁移
点击上方"服务端思维",选择"设为星标" 回复"669"获取独家整理的精选资料集 回复"加群"加入全国服务端高端社群「后 ...
- 玩转MySQL:一站式解决分库分表后患问题方案
引言 上篇有关分分库分表一文中已经将分库分表的方法论全面阐述清楚了,总体看下来用一个字形容,那就是爽!(手动狗头)尤其是分库分表技术能够让数据存储层真正成为三高架构,但前面爽是爽了,接着一起来看看分库 ...
- Sharding-Jdbc 实现读写分离 + 分库分表,写得太好了!
欢迎关注方志朋的博客,回复"666"获面试宝典 来自:CSDN,作者:邋遢的流浪剑客 链接:https://blog.csdn.net/qq_40378034/article/de ...
- mysql分库分表方案浅析
分库分表(这里不讨论中间件) 分库:原因:单机负载高,优点:降低单机负载 分表:原因:单表读写压力大或者数据增长快,优点:使用多个表,提高读写效率 1.(代码)分表,即把一个很大的表达数据分到几个表中 ...
最新文章
- 编写DLL所学所思(2)——导出类
- axure文件如何加密_rp文件命名也可能导致文件无法打开
- boost::ratio_negate相关的测试程序
- 基于Boost::beast模块的异步HTTP客户端
- 传西门子中国运营中近一半业务涉及行贿
- mysql怎么退出电脑_mysql的登陆和退出命令格式
- 为什么越来越多的人直接入住毛坯房?有什么优缺点?
- 职场人,职场事,八卦一下职场那些有意思的公众号
- NULL 与 nullptr区别与联系
- 计算机图形学完整笔记(八):曲线曲面 - 2
- C++程序设计试题及答案解析(一)
- 最小公倍数求法 (3种代码思路供参考 ) --(C语言实现)-- 详解
- 后台管理系统纯前端模板
- 修改Docker默认安装路径
- 记录一次504超时的解决方案
- 黑马C++学习总结之对象的初始化和清理
- 索尼电视A90J、A80J怎么安装蚂蚁市场下载第三方软件方法
- oracle安装在非图形,非图形化静默安装Oracle 11g
- 818品牌logo背后的故事
- Arduino通过USB转TTL无BootLoader烧录程序的两种办法
热门文章
- 6张图!5G六大细分领域产业图谱
- 高新技术企业认定领域细分有几项
- 抓包工具 charles 在线破解方法,支持4.2.6版本
- wps横向计算机在哪里,Win7系统如何横向打印WPS文件
- Wacom 数位板 和冠 手绘笔 Photoshop MacOS 延时卡顿丢笔解决办法
- 关于软件测试的论文文库,软件测试毕业论文[共46页]
- UE4网络编程学习之路02----网络架构、通信
- 学生宿舍管理mysql设计_学生宿舍管理系统的设计与实现(PHP,MySQL)(含录像)
- ansible register 之用法
- 英国G5、亚洲top1…未明学员斩获15枚世界top100学校offer!