2019独角兽企业重金招聘Python工程师标准>>>

一、双主保证高可用

MySQL数据库集群常使用一主多从,主从同步,读写分离的方式来扩充数据库的读性能,保证读库的高可用,但此时写库仍然是单点。

在一个MySQL数据库集群中可以设置两个主库,并设置双向同步,以冗余写库的方式来保证写库的高可用。

二、并发引发不一致

数据冗余会引发数据的一致性问题,因为数据的同步有一个时间差,并发的写入可能导致数据同步失败,引起数据丢失:

如上图所述,假设主库使用了auto increment来作为自增主键:

  • 两个MySQL-master设置双向同步可以用来保证主库的高可用

  • 数据库中现存的记录主键是1,2,3

  • 主库1插入了一条记录,主键为4,并向主库2同步数据

  • 数据同步成功之前,主库2也插入了一条记录,由于数据还没有同步成功,插入记录生成的主键也为4,并向主库1也同步数据

  • 主库1和主库2都插入了主键为4的记录,双主同步失败,数据不一致

三、相同步长免冲突

能否保证两个主库生成的主键一定不冲突呢?

回答

  • 设置不同的初始值

  • 设置相同的增长步长

就能够做到。

如上图所示:

  • 两个MySQL-master设置双向同步可以用来保证主库的高可用

  • 库1的自增初始值是1,库2的自增初始值是2,增长步长都为2

  • 库1中插入数据主键为1/3/5/7,库2中插入数据主键为2/4/6/8,不冲突

  • 数据双向同步后,两个主库会包含全部数据

如上图所示,两个主库最终都将包含1/2/3/4/5/6/7/8所有数据,即使有一个主库挂了,另一个主库也能够保证写库的高可用。

四、上游生成ID避冲突

换一个思路,为何要依赖于数据库的自增ID,来保证数据的一致性呢?

完全可以由业务上游,使用统一的ID生成器,来保证ID的生成不冲突:

如上图所示,调用方插入数据时,带入全局唯一ID,而不依赖于数据库的auto increment,也能解决这个问题。

五、消除双写不治本

使用auto increment两个主库并发写可能导致数据不一致,只使用一个主库提供服务,另一个主库作为shadow-master,只用来保证高可用,能否避免一致性问题呢?

如上图所示:

  • 两个MySQL-master设置双向同步可以用来保证主库的高可用

  • 只有主库1对外提供写入服务

  • 两个主库设置相同的虚IP,在主库1挂掉或者网络异常的时候,虚IP自动漂移,shadow master顶上,保证主库的高可用

这个切换由于虚IP没有变化,所以切换过程对调用方是透明的,但在极限的情况下,也可能引发数据的不一致:

如上图所示:

  • 两个MySQL-master设置双向同步可以用来保证主库的高可用,并设置了相同的虚IP

  • 网络抖动前,主库1对上游提供写入服务,插入了一条记录,主键为4,并向shadow master主库2同步数据

  • 突然主库1网络异常,keepalived检测出异常后,实施虚IP漂移,主库2开始提供服务

  • 在主键4的数据同步成功之前,主库2插入了一条记录,也生成了主键为4的记录,结果导致数据不一致

六、内网DNS探测

虚IP漂移,双主同步延时导致的数据不一致,本质上,需要在双主同步完数据之后,再实施虚IP偏移,使用内网DNS探测,可以实现shadow master延时高可用:

  • 使用内网域名连接数据库,例如:db.58daojia.org

  • 主库1和主库2设置双主同步,不使用相同虚IP,而是分别使用ip1和ip2

  • 一开始db.58daojia.org指向ip1

  • 用一个小脚本轮询探测ip1主库的连通性

  • 当ip1主库发生异常时,小脚本delay一个x秒的延时,等待主库2同步完数据之后,再将db.58daojia.org解析到ip2

  • 程序以内网域名进行重连,即可自动连接到ip2主库,并保证了数据的一致性

七、总结

主库高可用,主库一致性,一些小技巧:

  • 双主同步是一种常见的保证写库高可用的方式

  • 设置相同步长,不同初始值,可以避免auto increment生成冲突主键

  • 不依赖数据库,业务调用方自己生成全局唯一ID是一个好方法

  • shadow master保证写库高可用,只有一个写库提供服务,并不能完全保证一致性

  • 内网DNS探测,可以实现在主库1出现问题后,延时一个时间,再进行主库切换,以保证数据一致性

转载于:https://my.oschina.net/architectliuyuanyuan/blog/1589982

MySQL双主一致性架构优化相关推荐

  1. sql优化之:数据库索引创建原则,or/in/union与索引优化,聚集索引/非聚集索引/联合索引/索引覆盖,MySQL冗余数据的三种方案,MySQL双主一致性架构优化(来源:架构师之路)

    一.一些常见的SQL实践 (1)负向条件查询不能使用索引 select * from order where status!=0 and stauts!=1 not in/not exists都不是好 ...

  2. 【转】MySQL双主一致性架构优化

    [原文]https://www.toutiao.com/i6594414914838725133/ 一.双主保证高可用 MySQL数据库集群常使用一主多从,主从同步,读写分离的方式来扩充数据库的读性能 ...

  3. mysql 双从性能_MySQL双主一致性架构优化

    转自:MySQL双主一致性架构优化 - osc_avwazwuz的个人空间 - OSCHINA​my.oschina.net 一.双主保证高可用 MySQL数据库集群常使用一主多从,主从同步,读写分离 ...

  4. mysql id自动递增两个_MySQL双主一致性架构优化

    转自: MySQL双主一致性架构优化 - osc_avwazwuz的个人空间 - OSCHINA​my.oschina.net 一.双主保证高可用 MySQL数据库集群常使用一主多从,主从同步,读写分 ...

  5. mysql双主数据一致性_MySQL双主一致性架构优化 | 架构师之路-阿里云开发者社区...

    一.双主保证高可用 MySQL数据库集群常使用一主多从,主从同步,读写分离的方式来扩充数据库的读性能,保证读库的高可用,但此时写库仍然是单点. 在一个MySQL数据库集群中可以设置两个主库,并设置双向 ...

  6. MySQL双主(主主)架构方案

    在企业中,数据库高可用一直是企业的重中之重,中小企业很多都是使用mysql主从方案,一主多从,读写分离等,但是单主存在单点故障,从库切换成主库需要作改动.因此,如果是双主或者多主,就会增加mysql入 ...

  7. keepalived mysql双主架构图_基于MySQL双主的高可用解决方案理论及实践

    MySQL在互联网应用中已经遍地开花,但是在银行系统中,还在生根发芽的阶段.本文记录的是根据某生产系统实际需求,对数据库高可用方案从需求.各高可用技术特点对比.实施.测试等过程进行整理,完善Mysql ...

  8. 高可用Mysql架构_Mysql主从复制、Mysql双主热备、Mysql双主双从、Mysql读写分离(Mycat中间件)、Mysql分库分表架构(Mycat中间件)的演变...

    [Mysql主从复制] 解决的问题 数据分布:比如一共150台机器,分别往电信.网通.移动各放50台,这样无论在哪个网络访问都很快.其次按照地域,比如国内国外,北方南方,这样地域性访问解决了. 负载均 ...

  9. mysql 双主 脑裂_MySQL双主(主主)架构方案

    在企业中,数据库高可用一直是企业的重中之重,中小企业很多都是使用mysql主从方案,一主多从,读写分离等,但是单主存在单点故障,从库切换成主库需要作改动.因此,如果是双主或者多主,就会增加mysql入 ...

最新文章

  1. 《企业云桌面实施》-小技巧-04-VMWare Workstation-虚拟机强行关机开机
  2. 彻底删除SharePoint 2010 Content Database
  3. C/C++/VC++ 变量命名规则
  4. BZOJ 1207 打鼹鼠
  5. Android按比例布局之layout_weight和weightSum的使用
  6. mysql 时间 设计模式_数据库时间设计模式
  7. 据说,80%的人没有真正理解了Spring的依赖注入
  8. python可视化的图表汉字显示成框框_Matplotlib图表上输出中文(汉字)、减号问题...
  9. android 判断资源是否使用6,android-download-manager – Android 6获取下载文件的路径
  10. 第 14 章 结构和其他数据形式(names)
  11. Redis set集合结构及命令详解
  12. python--模拟掷骰子游戏
  13. gtj2018如何生成工程量报表_工程量清单计价规范2018
  14. python求平方根的代码_python求平方根的方法
  15. 美区苹果id关闭双重认证_苹果帐号在双重认证的情况下被更改受信任手机号,导致帐号被锁,且无法解锁...
  16. torch.cuda.amp.GradScaler(enabled=CFG.apex)是什么意思?
  17. 计算机图形学流体仿真mac网格,正交网格下不可压缩流体的图形学模拟
  18. 微信小程序--数据库数据批量导出为excel文件,预览下载
  19. java移动拼图游戏模拟
  20. CSS笔记 —— 美化网页

热门文章

  1. 你知道吗?du 和 df 的统计结果为什么不一样
  2. 剑指offer_第2题_替换空格
  3. 【廖雪峰python入门笔记】raw 字符串和多行字符串表示
  4. 阿里公开招募鉴黄师,日薪1000元,还送硬盘和网盘会员?!
  5. 【教程】Python数据可视化技巧
  6. 2021年了,该拥有自己的深度学习框架了
  7. TensorFlow惊现大bug?网友:这是逼着我们用PyTorch啊!
  8. 语义分割该如何走下去?
  9. 谁说用 Git 一定要用命令行?试试 SourceTree 吧
  10. 涨姿势了!为什么Windows上面的软件都想把自己安装在C盘?