2019独角兽企业重金招聘Python工程师标准>>>

假设现有两个机房,需要做到数据同步。

以下是架构图(实际架构图根据现有机房架构和实际会比下图复杂,但整体思路不变):

Mycat、Canal、Otter是关键的三项技术:

Mycat:数据库分库分表中间件,可以管理一个mysql集群,屏蔽了mysql集群,对外伪装成mysql server,用户无感知mysql集群。

Canal:阿里巴巴开源产品,可以读取mysql二进制日志文件,并解析成想要的数据。

Otter:阿里巴巴开源产品,配合Canal可以做到读取二进制文件,解析出增量数据sql,然后执行sql到指定连接。

流程:

1、用户插入一条数据到mycat

2、mycat解析sql,分配sql到指定mysql数据库

3、mysql(假设M1接收到数据)数据库接收数据,根据主从配置,写出二进制日志。

4、mysql(M2)读取二进制日志同步数据,mysql(S)读取二进制日志同步数据,并写出二进制日志

5、Canal读取二进制日志,解析成sql

6、Otter接到sql,获取连接,在机房B的mycat上执行sql

7、Otter收到sql执行回执,执行完毕。

注:

本文给予思路及具体技术方案,具体技术的应用及使用,请自行google。

转载于:https://my.oschina.net/mickelfeng/blog/1162524

Mysql跨机房同步方案相关推荐

  1. mysql 夸机房_Mysql跨机房同步方案

    假设现有两个机房,需要做到数据同步. 以下是架构图(实际架构图根据现有机房架构和实际会比下图复杂,但整体思路不变): Mycat.Canal.Otter是关键的三项技术: Mycat:数据库分库分表中 ...

  2. MySQL跨机房集群方案_Mysql跨机房同步方案

    随着用户量的不断累积,Mysql从单实例单节点发展到多实例多节点的主备,再到一个机房几十台Myql实例,但是现在,一个机房也开始慢慢无法承受庞大的数据吞吐,多机房的理念开始构建. 假设现有两个机房,需 ...

  3. mysql跨机房高可用方案_10款常见MySQL高可用方案选型解读

    作者介绍 王松磊,现任职于UCloud,从事MySQL数据库内核研发工作.主要负责UCloud云数据库udb的内核故障排查工作以及数据库新特性的研发工作. 一.概述 我们在考虑MySQL数据库的高可用 ...

  4. Elasticsearch集群跨机房迁移方案

    目录 背景介绍 1 A机房elasticsearch集群基本情况 2 在B机房完成elasticsearch集群扩容 2.1 扩容规划 2.2 启动非master节点 2.3 通知业务修改集群连接地址 ...

  5. Mysql主主同步方案

    在企业中,数据库高可用一直是企业的重中之重,中小企业很多都是使用mysql主从方案,一主多从,读写分离等,但是单主存在单点故障,从库切换成主库需要作改动.因此,如果是双主或者多主,就会增加mysql入 ...

  6. 基于Canal的MySQL=>ES数据同步方案

    文章目录 1.MySQL和ES的主要区别? 1.1 功能性 1.2 性能指标 1.3 在搜索业务上的区别 1.3.1 查询 1.3.2 检索 2.为什么要做数据同步 2.1 检索性能 2.2 写入性能 ...

  7. [转]跨机房数据库同步问题解决方案

    转载:http://blog.sina.com.cn/s/blog_73b41ab20102uy10.html 近期正在考虑多或问题,所有将相关文章收集下,自己思考的方案类似于Google的Megas ...

  8. mysql异地多活方案_对于异地多活的实践与思考

    对于异地多活的实践与思考 发布时间:2019-01-26 10:47, 浏览次数:707 在此抛砖引玉,希望有不同意见.观点或者建议的朋友留言. <>一.引 异地多活是近几年比较热门的一个 ...

  9. 【SpringBoot】65、SpringBoot整合Canal+RabbitMQ监听MySQL实现数据同步更新Redis缓存

    canal 简介 早期阿里巴巴因为杭州和美国双机房部署,存在跨机房同步的业务需求,实现方式主要是基于业务 trigger 获取增量变更.从 2010 年开始,业务逐步尝试数据库日志解析获取增量变更进行 ...

最新文章

  1. 思考:王者荣耀为什么不使用微服务架构?
  2. python docker自动化_自动化 – 自动创建docker容器并启动python脚本
  3. java 强弱软虚_Java的四种引用,强弱软虚,用到的场景
  4. VueCli3 项目结构和具体作用
  5. 【转载保存】网页提取正文算法汇总
  6. Stage3D 入门资源汇总
  7. Redis单机模式搭建
  8. MATLAB建模与仿真(第一章基础--第四章画图)
  9. HDU 1097 JAVA
  10. 输入一个二阶矩阵并计算主对角线元素的和 C语言
  11. Butterfly-蝴蝶-主题优化、美化-Lete乐特
  12. Directx11学习笔记【十】 画一个简单的三角形
  13. 怎么用wps将pdf转换成html,如何将PDF格式的文件转换成HTML格式
  14. 转行学软件测试,月薪5k到30k,给IT赶路人一些个人建议...
  15. [笔]蔚来汽车网络笔/面试题汇总解答
  16. android 微信高仿,Android高仿微信聊天界面代码分享
  17. 音视频开发之旅(34) - 基于FFmpeg实现简单的视频解码器
  18. MySQL数据库 锁
  19. noip 2009 靶形数独
  20. 搜狐,这次你玩过火了。

热门文章

  1. 修改Windows的cmd和PowerShell 的字体
  2. 自研Spring容器,带你解析ioc内部原理
  3. 关闭图片 pycharm_博士大佬总结的Pycharm 常用快捷键思维导图,收藏!
  4. SpringBoot跨域
  5. 雀姬 服务器维护,《雀姬》功能界面介绍(多图)
  6. mysql多语句查询结果_MySQL查询从多个选择语句获取结果?
  7. 广东计算机一级考试可以用计算器吗,你考试用不用计算器?
  8. 【Netty】从 BIO、NIO 聊到 Netty
  9. PHP性能调优---php-fpm - 启动参数及重要配置详解
  10. CSS display 属性