mysql多源复制知乎_技术分享 | MySQL 多源复制场景分析

作者：杨涛涛

今天有客户问起：如何汇总多台 MySQL 数据到一台上？我回答：可以尝试下 MySQL 的多源复制。

我们知道 MySQL 单主一从，单主多从，或者级联的主从架构我们都见的很多了。但是多主一从这种使用场景比较少，比如图1：

这种架构一般用在以下三类场景

1.备份多台 Server 的数据到一台

如果按照数据切分方向来讲，那就是垂直切分。比如图 2，业务 A、B、C、D 是之前拆分好的业务，现在需要把这些拆分好的业务汇总起来备份，那这种需求也很适用于多源复制架构。

实现方法我大概描述下：业务 A、B、C、D 分别位于4台 Server，每台 Server 分别有一个数据库来隔离前端的业务数据，那这样，在从库就能把四台业务的数据全部汇总起来，而不需要做额外的操作。那没有多源复制之前，要实现这类需求，只能在汇总机器上搭建多个 MySQL 实例，那这样势必会涉及到跨库关联的问题，不但性能急剧下降，管理多个实例也没有单台来的容易。

2.用来聚合前端多个 Server 的分片数据。

同样，按照数据切分方向来讲，属于水平切分。比如图3，按照年份拆分好的数据，要做一个汇总数据展现，那这种架构也非常合适。

实现方法稍微复杂些：比如所有 Server 共享同一数据库和表，一般为了开发极端透明，前端配置有分库分表的中间件，比如爱可生的 DBLE。

3. 汇总并合并多个 Server 的数据

第三类和第一种场景类似。不一样的是不仅仅是数据需要汇总到目标端，还得合并这些数据，这就比第一种来的相对复杂些。比如图4，那这样的需求，是不是也适合多源复制呢？答案是YES。

那具体怎么做呢？

我举个例子，比如下面一张表 A，字段分表为 ID(主键)、F1、F2、F3... 、F100。那按照这样的分法，前端 4 台 Server 的表分别为：

A1(ID,F1,F2,...,F25)

A2(ID,F26,F27,...,F50)

A3(ID,F51,F52,...,F75)

A4(ID,F76,F77,...,F100)

那上面几张表的数据如果要合并到表 A，可以建立一个 Event，定时的来给表 A 里插入数据。涉及到的核心 SQL 为：

insert ignore into A select A1.ID,F1,F2,...,F100 \

from A1 natural join A2 natural join A3 natural join A4;

那我们发现这个和第一个类似，只不过，所有的表最后到复制到了相同的数据库里。

总结下，我上面简单说明了MySQL多源复制的三种常用使用场景，相信对大家有所帮助。

mysql多源复制知乎_技术分享 | MySQL 多源复制场景分析相关推荐

mysql优化说出九条_技术分享 | MySQL 优化：为什么 SQL 走索引还那么慢？
原标题:技术分享 | MySQL 优化:为什么 SQL 走索引还那么慢? 背景 2019-01-11 9:00-10:00 一个 MySQL 数据库把 CPU 打满了. 硬件配置:256G 内存,48 ...
发布json数据_技术分享 | MySQL 8.0.17 GA 发布！
昨日 MySQL 官网正式发布 8.0.17 / 5.7.27 / 5.6.45 三个(维护)版本,距离上一个 GA 版本(8.0.16)发布时隔仅 88 天! MySQL 各开发团队的博客网站,同一 ...
mysql55和57的区别_技术分享 | MySQL：count(*)、count(字段) 实现上区别
我们继续来讨论一下 count(*).count(字段)实现上的区别.注意我们这里都使用 Innodb 做为存储引擎,不讨论其他引擎.因为了有了前面的讨论,更容易看出它们的区别,这里我们有如下注意点: ...
mysql 的connect 设置无法点next_技术分享 | MySQL 使用 MariaDB 审计插件
作者:姚远专注于 Oracle.MySQL 数据库多年,Oracle 10G 和 12C OCM,MySQL 5.6 ,5.7,8.0 OCP.现在鼎甲科技任顾问,为同事和客户提供数据库培训和技术支 ...
mysql timestamp 当前_技术分享 | MySQL 复制那点事 - Seconds_behind_Master 参数调查笔记
作者:戴骏贤网易游戏技术部资深数据库系统工程师. 本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源. 文章阅读时间约 15 分钟,文中著名参考文献在 ...
date转timestamp格式_技术分享 | MySQL：timestamp 时区转换导致 CPU %sy 高的问题
作者:高鹏文章末尾有他著作的<深入理解 MySQL 主从原理 32 讲>,深入透彻理解 MySQL 主从,GTID 相关技术知识.本文为学习记录,可能有误请谅解. 本文建议PC端观看,效果 ...
多少行数_技术分享 | MySQL：查询字段数量多少对查询效率的影响
作者:高鹏文章末尾有他著作的<深入理解 MySQL 主从原理 32 讲>,深入透彻理解 MySQL 主从,GTID 相关技术知识. 这个问题是最近一个朋友问我的.刚好就好好看了一下,留下 ...
mysql 客户端_技术分享 | MySQL 客户端连不上（1045 错误）原因全解析
作者:Carlos Tutte.Marcos Albe 翻译:管长龙在我们学习 MySQL 或从事 MySQL DBA 工作期间,时常会遇到:"我尝试连接到 MySQL 并且收到1045 ...
date转timestamp格式_技术分享 | MySQL：timestamp 时区转换导致 CPU %sys 高的问题
作者:高鹏文章末尾有他著作的<深入理解 MySQL 主从原理 32 讲>,深入透彻理解 MySQL 主从,GTID 相关技术知识. 本文为学习记录,可能有误请谅解. 本文建议PC端观看, ...

mysql多源复制知乎_技术分享 | MySQL 多源复制场景分析

mysql多源复制知乎_技术分享 | MySQL 多源复制场景分析相关推荐

最新文章

热门文章

mysql多源复制 知乎_技术分享 | MySQL 多源复制场景分析

mysql多源复制 知乎_技术分享 | MySQL 多源复制场景分析相关推荐

最新文章

热门文章

mysql多源复制知乎_技术分享 | MySQL 多源复制场景分析

mysql多源复制知乎_技术分享 | MySQL 多源复制场景分析相关推荐