各种开源数据库同步工具汇总
(1) OGG
Oracle GoldenGate 是一款实时访问、基于日志变化捕捉数据,并且在异构平台之间迚行数据传输的产品。GoldenGate TDM是一种基于软件的数据复制方式,它从数据库的日志解析数据的变化(数据量只有日志的四分之一左右)。GoldenGate TDM将数据变化转化为自己的格式,直接通过TCP/IP网络传输,无需依赖于数据库自身的传递方式,而且可以通过高达10:1的压缩率对数据迚行压缩,可以大大降低带宽需求。在目标端,GoldenGate TDM可以通过交易重组,分批加载等技术手段大大加快数据投递的速度和效率,降低目标系统的资源占用,可以在亚秒级实现大量数据的复制,并且目标端数据库是活动的。
优点:牛逼
缺点:好像不开源;
(2) Canal
canal是由Alibaba开源的一个基于binlog的增量日志组件,其核心原理是canal伪装成Mysql的slave,发送dump协议获取binlog,解析并存储起来给客户端消费。
优点:可以同步任何非查询类操作。DDL和DML语句(除了数据查询语句select)。增量+全量都可以
缺点:数据源只支持MySQL,因为利用了MySQL的binlog特性
项目地址:https://github.com/alibaba/canal
(3) otter
otter是一款基于Java且免费、开源基于数据库增量日志解析,准实时同步到本机房或异地机房的mysql/oracle数据库的解决方案
优点:
1. 单向同步, mysql –> oracle互相同步
2. 双向同步,无冲突变更
3. 文件同步,本地/aranda文件
4. 双A同步,冲突检测&冲突补救
5. 数据迁移,中间表/行记录同步
缺点:同canal,因其是利用canal来进行同步的,canal作为其数据源组件
项目地址:https://github.com/alibaba/otter
(4) DataX
DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
优点:支持非常多数据库同步,原理是通过查询语句select同步的
缺点:不支持ddl同步
项目地址:https://github.com/alibaba/DataX
(5) kettle
Kettle是一款国外开源的ETL工具,用java编写,可以在视窗、Linux和Unix上运行,数据抽取高效稳定,中文称水壶。这个项目的主要程序员MATT想把各种数据放进一个水壶,然后以指定的格式流出。它是一个ETL工具集,允许你管理来自不同数据库的数据,并通过提供一个图形用户环境来描述你想做什么,而不是你想怎么做。Kettle中有两个脚本文件,转换和作业。转换完成了数据的基本转换,而作业完成了对整个工作流的控制。
优点:功能强大,支持几乎所有数据库;
缺点: 需要用户自己一步步配置,学习成本高;通过查询语句select同步的;
项目地址:https://github.com/pentaho/pentaho-kettle
(6) FlinkX
FlinkX是在是袋鼠云内部广泛使用的基于flink的分布式离线和实时的数据同步框架,实现了多种异构数据源之间高效的数据迁移。FlinkX是一个基于Flink的批流统一的数据同步工具,既可以采集静态的数据,比如MySQL,HDFS等,也可以采集实时变化的数据,比如MySQL binlog,Kafka等。
项目地址:https://github.com/DTStack/flinkx
缺点: 通过查询语句select同步的
(7) Porter
Porter是一款随行付开源的数据同步中间件,主要用于解决同构/异构数据库之间的表级别数据同步问题。
项目地址:https://github.com/sxfad/porter
缺点: 数据源只支持MySQL和Oracle;仅支持DML;通过查询语句select同步的
(8) CloudCanal
CloudCanal是一款由ClouGence公司发行的集结构迁移、数据全量迁移/校验/订正、增量实时同步为一体的多源多端数据迁移同步平台。产品包含完整的产品化能力,助力企业打破数据孤岛、完成数据互融互通,从而更好的使用数据。
发版时间:2021年8月20日
版本号: 1.0.2
新特性
- 新增Oracle源端
- 新增PostgreSQL源端
- 新增Greenplum源端
- 新增PolarDbMySQL源端
- 新增Oracle目标端
- 新增PostgreSQL目标端
- 新增Greenplum目标端
- 新增Hive目标端
- 新增DRDS目标端
- 新增PolarDbMySQL目标端
- 新增AdbForMySQL目标端
- 新增校验任务结果查看
- 支持ClickHouse最新版本到22.1
- ClickHouse 新增 ReplacingMergeTree 支持,并且默认选中该表引擎
BugFix&优化
- 修复timestamp on update current timestamp不同步问题
- 修复树状选择,筛选表,勾选掉一张表后又加载全部的问题
- 修复校验、订正任务重跑刷新的问题
- 修复源端阿里云 kafka 初始位点问题
- 修复Clickhouse对端同步无主键表问题
- 修复sidecar stdout打印过多日志问题
- 修复Kafka任务,获取分区NPE问题
- 修复因机器规格低导致的sidecar访问管控超时问题
- 修复机器timezone非东八区时的时区问题,现在CloudCanal时间值的写入和机器操作系统时区解耦
- 修复sidecar容器重启,sidecar进程没法正常重启的问题
- 优化写入对端 RocketMQ 性能
- 放开任务创建数量限制
关联资料
CloudCanal社区
CloudCanal Release信息汇总
CloudCanal安装使用文档(含下载地址)
MySQL到ClickHouse实时同步-CloudCanal实战
构建基于kafka中转的混合云在线数据生态-cloudcanal实战
5分钟搞定 MySQL 到 ElasticSearch 迁移同步-CloudCanal实战
各种开源数据库同步工具汇总相关推荐
- mykit-db-sync之——数据库同步工具正式开源
转载请注明出处:https://blog.csdn.net/l1028386804/article/details/82731142 重磅消息:数据库同步工具mykit-db-sync正式开源 开源地 ...
- [转]开源大数据处理工具汇总
查询引擎 一.Phoenix 贡献者::Salesforce 简介:这是一个Java中间层,可以让开发者在Apache HBase上执行SQL查询.Phoenix完全使用Java编写,代码位于GitH ...
- 一共81个,开源大数据处理工具汇总(下)转
作者:大数据女神-诺蓝(微信公号:dashujunvshen).本文是36大数据专稿,转载必须标明来源36大数据. 接上一部分:一共81个,开源大数据处理工具汇总(上),第二部分主要收集整理的内容主要 ...
- 一共81个,开源大数据处理工具汇总
作者:大数据女神-诺蓝(微信公号:dashujunvshen).本文是36大数据专稿,转载必须标明来源36大数据. 本文一共分为上下两部分.我们将针对大数据开源工具不同的用处来进行分类,并且附上了官网 ...
- windows系统C#(.Net)MySql数据库同步工具
DbSync DbSync 是一款使用 .Net4.5(可以转Core) 作为基础框架开发的,目前运行在windows平台的数据库同步工具.此类工具开源社区有很多,这里不是为了重复造轮子,仅仅是因为公 ...
- C#同步SQL Server数据库中的数据--数据库同步工具[同步已有的有变化的数据]
C#同步SQL Server数据库中的数据--数据库同步工具[同步已有的有变化的数据] 1. C#同步SQL Server数据库Schema 2. C#同步SQL Server数据库中的数据--数据库 ...
- 开源oracle同步图形工具,阿里开源数据同步工具--DataX
阿里开源数据同步工具--DataX 是啥?: 是异构数据源离线同步工具 能干啥?: 能够将MySQL sqlServer Oracle Hive HBase FTP 之间进行稳定高效的数据同步. 设 ...
- (转)一共81个,开源大数据处理工具汇总
[思路网注] 本文一共分为上下两部分.我们将针对大数据开源工具不同的用处来进行分类,并且附上了官网和部分下载链接,希望能给做大数据的朋友做个参考. 本文一共分为上下两部分.我们将针对大数据开源工具不同 ...
- 阿里云开源离线同步工具DataX3.0
DataX3.0概览 DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL.Oracle等).HDFS.Hive.ODPS.HBase.FTP等各种异构数据源之间稳定高效的 ...
- 阿里巴巴开源离线同步工具 DataX3.0 介绍
一. DataX3.0概览 DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL.Oracle等).HDFS.Hive.ODPS.HBase.FTP等各种异构数据源之间稳定 ...
最新文章
- keras 的 example 文件 cifar10_resnet.py 解析
- 易语言tcp多线程服务端客户端_从TCP协议到TCP通信的各种异常现象和分析
- iOS开发——导入第三方库引起的unknown type name 'NSString'
- Java实现excel的读与写(Apache POI)
- c语言链表代码大全,C语言实现链表
- LeetCode-Single Number
- php简单实现二级联动
- ​iPhone 13或有日落金玫瑰金配色;传阿里巴巴和腾讯考虑互相开放生态系统;抖音内测“心动外卖”|极客头条...
- Oracle 创建表空间借鉴 保留,占版权留言告知
- 树莓派4b--红外遥控模块
- Android:JNI调用C++自定义类的详细方法
- tiny yolov3 海思_yolov3及tiny版本的实践(Windows)
- 每日一学20——凉鞋的简易消息机制
- 2019税改有哪些变化?什么是专项扣除?这些改动与你的工资息息相关!
- 电子信息(非全)考研分析——大连理工VS哈工程
- USB会议摄像机的重要的网络特性
- 什么是架构?什么是架构师?
- 百度地图java sdk_百度地图-地图SDK常用方法总结(一)
- 120 以太坊 ethereum truffle : 编写自动化智能合约测试
- SystemServer