转自:MySQL双主一致性架构优化 - osc_avwazwuz的个人空间 - OSCHINA​my.oschina.net

一、双主保证高可用

MySQL数据库集群常使用一主多从,主从同步,读写分离的方式来扩充数据库的读性能,保证读库的高可用,但此时写库仍然是单点。

在一个MySQL数据库集群中可以设置两个主库,并设置双向同步,以冗余写库的方式来保证写库的高可用。

二、并发引发不一致

数据冗余会引发数据的一致性问题,因为数据的同步有一个时间差,并发的写入可能导致数据同步失败,引起数据丢失:

MySQL双主一致性架构优化 - osc_avwazwuz的个人空间 - OSCHINA一、双主保证高可用

MySQL数据库集群常使用一主多从,主从同步,读写分离的方式来扩充数据库的读性能,保证读库的高可用,但此时写库仍然是单点。

在一个MySQL数据库集群中可以设置两个主库,并设置双向同步,以冗余写库的方式来保证写库的高可用。

二、并发引发不一致

数据冗余会引发数据的一致性问题,因为数据的同步有一个时间差,并发的写入可能导致数据同步失败,引起数据丢失:

如上图所述,假设主库使用了auto increment来作为自增主键:两个MySQL-master设置双向同步可以用来保证主库的高可用

数据库中现存的记录主键是1,2,3

主库1插入了一条记录,主键为4,并向主库2同步数据

数据同步成功之前,主库2也插入了一条记录,由于数据还没有同步成功,插入记录生成的主键也为4,并向主库1也同步数据

主库1和主库2都插入了主键为4的记录,双主同步失败,数据不一致

三、相同步长免冲突

能否保证两个主库生成的主键一定不冲突呢?

回答:设置不同的初始值

设置相同的增长步长

就能够做到。

如上图所示:两个MySQL-master设置双向同步可以用来保证主库的高可用

库1的自增初始值是1,库2的自增初始值是2,增长步长都为2

库1中插入数据主键为1/3/5/7,库2中插入数据主键为2/4/6/8,不冲突

数据双向同步后,两个主库会包含全部数据

如上图所示,两个主库最终都将包含1/2/3/4/5/6/7/8所有数据,即使有一个主库挂了,另一个主库也能够保证写库的高可用。

四、上游生成ID避冲突

换一个思路,为何要依赖于数据库的自增ID,来保证数据的一致性呢?

完全可以由业务上游,使用统一的ID生成器,来保证ID的生成不冲突:

如上图所示,调用方插入数据时,带入全局唯一ID,而不依赖于数据库的auto increment,也能解决这个问题。

至于如何生成全局唯一,趋势递增的ID,参见文章《分布式ID生成算法》。

五、消除双写不治本

使用auto increment两个主库并发写可能导致数据不一致,只使用一个主库提供服务,另一个主库作为shadow-master,只用来保证高可用,能否避免一致性问题呢?

如上图所示:两个MySQL-master设置双向同步可以用来保证主库的高可用

只有主库1对外提供写入服务

两个主库设置相同的虚IP,在主库1挂掉或者网络异常的时候,虚IP自动漂移,shadow master顶上,保证主库的高可用

这个切换由于虚IP没有变化,所以切换过程对调用方是透明的,但在极限的情况下,也可能引发数据的不一致:

如上图所示:两个MySQL-master设置双向同步可以用来保证主库的高可用,并设置了相同的虚IP

网络抖动前,主库1对上游提供写入服务,插入了一条记录,主键为4,并向shadow master主库2同步数据

突然主库1网络异常,keepalived检测出异常后,实施虚IP漂移,主库2开始提供服务

在主键4的数据同步成功之前,主库2插入了一条记录,也生成了主键为4的记录,结果导致数据不一致

六、内网DNS探测

虚IP漂移,双主同步延时导致的数据不一致,本质上,需要在双主同步完数据之后,再实施虚IP偏移,使用内网DNS探测,可以实现shadow master延时高可用:主库1和主库2设置双主同步,不使用相同虚IP,而是分别使用ip1和ip2

用一个小脚本轮询探测ip1主库的连通性

当ip1主库发生异常时,小脚本delay一个x秒的延时,等待主库2同步完数据之后,再将http://db.58daojia.org解析到ip2

程序以内网域名进行重连,即可自动连接到ip2主库,并保证了数据的一致性

七、总结

主库高可用,主库一致性,一些小技巧:双主同步是一种常见的保证写库高可用的方式

设置相同步长,不同初始值,可以避免auto increment生成冲突主键

不依赖数据库,业务调用方自己生成全局唯一ID是一个好方法

shadow master保证写库高可用,只有一个写库提供服务,并不能完全保证一致性

内网DNS探测,可以实现在主库1出现问题后,延时一个时间,再进行主库切换,以保证数据一致性

mysql 双从性能_MySQL双主一致性架构优化相关推荐

  1. mysql id自动递增两个_MySQL双主一致性架构优化

    转自: MySQL双主一致性架构优化 - osc_avwazwuz的个人空间 - OSCHINA​my.oschina.net 一.双主保证高可用 MySQL数据库集群常使用一主多从,主从同步,读写分 ...

  2. sql优化之:数据库索引创建原则,or/in/union与索引优化,聚集索引/非聚集索引/联合索引/索引覆盖,MySQL冗余数据的三种方案,MySQL双主一致性架构优化(来源:架构师之路)

    一.一些常见的SQL实践 (1)负向条件查询不能使用索引 select * from order where status!=0 and stauts!=1 not in/not exists都不是好 ...

  3. mysql双主数据一致性_MySQL双主一致性架构优化 | 架构师之路-阿里云开发者社区...

    一.双主保证高可用 MySQL数据库集群常使用一主多从,主从同步,读写分离的方式来扩充数据库的读性能,保证读库的高可用,但此时写库仍然是单点. 在一个MySQL数据库集群中可以设置两个主库,并设置双向 ...

  4. MySQL双主一致性架构优化

    2019独角兽企业重金招聘Python工程师标准>>> 一.双主保证高可用 MySQL数据库集群常使用一主多从,主从同步,读写分离的方式来扩充数据库的读性能,保证读库的高可用,但此时 ...

  5. 【转】MySQL双主一致性架构优化

    [原文]https://www.toutiao.com/i6594414914838725133/ 一.双主保证高可用 MySQL数据库集群常使用一主多从,主从同步,读写分离的方式来扩充数据库的读性能 ...

  6. DB主从一致性架构优化4种方法

    DB主从一致性架构优化4种方法 需求缘起 大部分互联网的业务都是"读多写少"的场景,数据库层面,读性能往往成为瓶颈.如下图:业界通常采用"一主多从,读写分离,冗余多个读库 ...

  7. mysql 双1设置_mysql 双1设置

    双1设置:(适合数据安全性要求非常高,而且磁盘IO写能力足够支持业务(磁盘为 PCIE SSD)) sync_binlog.innodb_flush_log_at_trx_commit 这两个参数都要 ...

  8. mysql范围查找性能_MYSQL(四)查询性能优化

    优化数据访问 1.是否向数据库请求了不需要的数据 解决方式: A. 查询后加limit B. Select后写需要的列而不是* 2. 是否扫描了额外的数据 数据库的访问方式速度由慢到快:全表扫描,索引 ...

  9. mysql+date+范围+性能_MySQL性能优化的最佳20+条经验

    今天,数据库的操作越来越成为整个应用的性能瓶颈了,这点对于Web应用尤其明显.关于数据库的性能,这并不只是DBA才需要担心的事,而这更是我们程序员需要去关注的事情.当我们去设计数据库表结构,对操作数据 ...

最新文章

  1. python 读取excel 内的中文显示为unicode 编码
  2. matlab识别不出linux链接,在Ubuntu上,从matlab调用外部脚本失败_linux_开发99编程知识库...
  3. java安装_使用Java 9模块化来发布零依赖本机应用程序
  4. httpclient工具使用(org.apache.httpcomponents.httpclient)
  5. swift 过滤字符串_使用Swift提取字符串中的最后一个单词
  6. layoutSubview 总结
  7. 距离考研还有2天,我还活着
  8. 联想计算机拆机,一拆到底~联想昭阳E46L彻底拆解,163P!
  9. wireshark 报文分析心得 -- Identification 使用说明
  10. ​红旗首款奢华纯电动SUV车型上市;一起教育登陆纳斯达克;恒隆与凯悦在昆明打造君悦酒店 | 美通企业周刊...
  11. 【软考系统架构设计师】2009年下系统架构师综合知识历年真题
  12. 高斯-约当消元法(随机程序,UVA 10828)
  13. OpenCV-检测并提取表格
  14. ucos II任务管理之三:删除任务
  15. 如何减小Ubuntu 16.04系统下VMware虚拟机硬盘空间占用过大问题
  16. 使用Mob进行短信验证码发送
  17. 电力电子变压器。 整流级采用级联H桥多电平拓扑,由三个H桥模块级联
  18. VSS(Visual SourceSafe)使用入门
  19. 三十天学会绘画pdf_三十天学会实用画法
  20. python项目练习——外星人入侵游戏(一)——武装飞船

热门文章

  1. 解析发展方向,定格人生道路
  2. 深入理解Elasticsearch(原书第2版)》一1.2 何为Elasticsearch
  3. 【BZOJ 3098】 Hash Killer II
  4. 添加IFrame导致内存溢出的解决过程(IE浏览器,目前发现了原因,还未解决)...
  5. 浅谈mysql的子查询
  6. JDK自带的log-java.util.logging
  7. 安装DirectX SDK时出现Error Code:s1023 的解决方案
  8. OpenCV之cvSmooth函数平滑滤波
  9. 学习笔记02:直播串讲02
  10. windows远程连接ubuntu 黑屏_Windows跟Windows远程连接传输文件