tair mysql_MySQL数据库异构数据同步

在实现levelDB挂载成MySQL引擎时，发现在实际存储是key-value格式时候，MySQL的异构数据同步，可以更简单和更通用。

以tair为例，简要描述一下以MySQL为基础的一种方案。

所谓异构数据同步，是指应用只更新MySQL，而由后端的某些机制将这些更新应用到其他数据存储服务上。

1、 MySQL-Tair 引擎

a) 使用

b) 说明

这不是一个“存储引擎”，实际上数据存储在tair服务器上。执行insert/update/delete时，只是将对应的动作put /remove到tair服务器。当然这个过程对用户是透明的。

2、 MySQL-Tair 引擎怎么用于更新 tair 数据

首先，数据更新有两种方式，同步更新和异步更新。

a) 异步更新

先说异步更新。这个类似“读binlog来更新数据”的方案。如果使用MySQL-Tair引擎，结构可以如下：

说明：tair表只存在Slave上，与主库上要更新的表同名。

完备性：以现在主库都是row格式的binglog结构为背景，这里Slave上收到的都会是这个更新的完整行信息，从中取出需要的key和value即可。

b) 同步更新

同步更新的意思，是应用端更新MySQL，在MySQL和tair同时更新完成后，MySQL才返回用户更新成功。

这种模式更像将tair作为MySQL的网络级别缓存服务。当然应用在读取的时候可以绕过MySQL直接访问tair，则只是作为一种更新方案。

这种模式能够让更新后的下一次访问直接命中tair中的缓存数据。异步则无法保证。

结构如下：

说明：这里实体数据表与tair表在同一个数据库，表结构相同，引擎不同。应用还是更新数据表，用触发器触发相同的语句更新tair表。

完备性：同样的，触发器会得到这个更新的新行全值。

3、 MySQL 同步的优点

这种有以下优势，即使只考虑异步更新模式：

a) 不需要自己模拟一个MySQL数据库的从库、不需要维护连接(MySQL自带)

b) 不需要解析binlog(什么时候binlog切换都要关心，要做的事情太多)

c) 更方便的监控。MySQL数据库现有的监控接口，直接得到tps、延迟时间，同步点。

d) 更方便的管理。如果主库挂了，一个Change master命令即可；想暂时停更新，stop slave、start slave。

e) 更方便的扩展。直接利用MySQL数据库的级联主从。

当然还有读binlog方案无法实现的同步选择。

4、其他

不限于tair，只是举例。

如果后端是一个可靠存储，如TFS，则可以当作一个存储表来使用，读写都是SQL接口。与直接更新TFS有什么区别？简单说一个，可以直接跟MySQL里的实体表做join操作。

tair mysql_MySQL数据库异构数据同步–后端以tair为例相关推荐

MySQL异构同步_详解MySQL数据库异构数据同步
本文主要向大家介绍了MySQL数据库异构数据同步,通过具体的内容向大家展现,希望对大家学习MySQL数据库有所帮助. 在实现levelDB挂载成MySQL引擎时,发现在实际存储是key-value格式 ...
MySQL的异构数据同步
前言当MySQL操作完数据后如果将数据同步到ElasticSearch中,或者还要同步到MongoDB中,而且操作MySQL和ElasticSearch和MongoDB的分属于多个部门应该怎么办,如 ...
Canal 实现 Mysql数据库实时数据同步
简介 1.1 canal介绍 Canal是一个基于MySQL二进制日志的高性能数据同步系统.Canal广泛用于阿里巴巴集团(包括https://www.taobao.com),以提供可靠的低延迟增量数 ...
Nifi实时同步mysql_nifi实现数据库到数据库之间数据同步
一.安装:NiFi 是免安装地,仅需从官网下载压缩包,然后解压,即完成了整个安装过程,官网下载安装包(http://nifi.apache.org/download.html),选择nifi-x.x. ...
java数据库大量数据同步处理方法记录
java数据库大量数据同步保存处理方法一场景当有大量数据需要保存到数据库时,此时若是一条一条的保存,将会多次进行I/O交互,而且大量数据还会让数据库崩溃,这个时候就需要进行优化处理. 二实现 ...
python 数据库同步_python实现不同数据库间数据同步功能
功能描述数据库间数据同步方式很多,在上篇博文中有总结.本文是用py程序实现数据同步. a数据库中有几十张表,要汇聚到b数据库中,且表结构一致,需要准实时的进行数据同步,用工具实现时对其控制有限且配置 ...
赶集网CDC案例-蔡峰：赶集网CDC异构数据同步方案实践-IT168 信息化专区
赶集网CDC案例-蔡峰:赶集网CDC异构数据同步方案实践-IT168 信息化专区赶集网CDC案例-蔡峰:赶集网CDC异构数据同步方案实践-IT168 信息化专区 posted on 2015-07- ...
浅谈Oracle 数据库之间数据同步方案
随着信息技术的飞速发展,企业信息化建设的不断深入,使得企业业务系统数量不断增加.这时,各业务系统之间数据交互,各子业务系统与核心业务系统之间数据交互,诸如此类场景的应用需求不断出现.因此,IT部门应对 ...
8.每日一读—Canal实现mysql异构数据同步
1.什么是异构数据 MySQL中存储的数据,elasticsearch中存储的数据.这两种数据就是异构数据. 2.身处漩涡中心的mysql团队举个栗子: 在一个商城的开发项目中有一个mysql团队, ...

tair mysql_MySQL数据库异构数据同步–后端以tair为例

tair mysql_MySQL数据库异构数据同步–后端以tair为例相关推荐

最新文章

热门文章