推荐一个开源数据同步神器，支持多种数据源和预警功能！
DBSyncer是一款开源的数据同步中间件，提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步场景。
支持上传插件自定义同步转换业务，提供监控全量和增量数据统计图、应用性能预警等。
特点：
组合驱动，自定义库同步到库组合，关系型数据库与非关系型之间组合，任意搭配表同步映射关系
实时监控，驱动全量或增量实时同步运行状态、结果、同步日志和系统日志
开发插件，自定义转化同步逻辑
设计
架构图
应用场景
| 连接器 | 数据源 | 目标源 | 支持版本(包含以下) |
|---|---|---|---|
| MySQL | ✔ | ✔ | 5.7.19以上 |
| Oracle | ✔ | ✔ | 10gR2 -11g |
| SqlServer | ✔ | ✔ | 2008以上 |
| PostgreSQL | ✔ | ✔ | 9.5.25以上 |
| ES | ✔ | ✔ | 6.0以上 |
| Kafka | 开发中 | ✔ | 2.10-0.9.0.0以上 |
| File | ✔ | ✔ | *.txt, *.unl |
| SQL | ✔ | 支持以上关系型数据库 | |
| 后期计划 | Redis |
使用教程
启动 代理 和 数据库 服务
准备测试账号，test
分配sysadmin角色
分配指定数据库权限
PostgreSQL
通过复制流技术监听增量事件，基于内置插件pgoutput、test_decoding实现解析wal日志
1、修改postgresql.conf文件，重启服务
wal_level=logical2、授予账号权限LOGIN和REPLICATION
File
监听文件修改时间得到变化文件，通过文件偏移量读取最新数据
“
https://gitee.com/ghi/dbsyncer/issues/I55EP5
ES
定时获取增量数据。
账号具有访问权限。
日志
建议MySQL、SqlServer、PostgreSQL都使用日志
定时
假设源表数据格式
预览
驱动管理
驱动详情
驱动表字段关系配置
监控
上传插件
开源地址
https://gitee.com/ghi/dbsyncer
------
我们创建了一个高质量的技术交流群，与优秀的人在一起，自己也会优秀起来，赶紧点击加群，享受一起成长的快乐。另外，如果你最近想跳槽的话，年前我花了2周时间收集了一波大厂面经，节后准备跳槽的可以点击这里领取！
推荐阅读
写 bug 速度提升200%！吊爆的 IDEA 使用技巧
还在用开源软件搭建ChatGPT网站？小心别人花你的钱！
真刑啊！几行代码端了整个教务系统
··································
你好，我是程序猿DD，10年开发老司机、阿里云MVP、腾讯云TVP、出过书创过业、国企4年互联网6年。从普通开发到架构师、再到合伙人。一路过来，给我最深的感受就是一定要不断学习并关注前沿。只要你能坚持下来，多思考、少抱怨、勤动手，就很容易实现弯道超车！所以，不要问我现在干什么是否来得及。如果你看好一个事情，一定是坚持了才能看到希望，而不是看到希望才去坚持。相信我，只要坚持下来，你一定比现在更好！如果你还没什么方向，可以先关注我，这里会经常分享一些前沿资讯，帮你积累弯道超车的资本。
推荐一个开源数据同步神器，支持多种数据源和预警功能！相关推荐
- 阿里开源数据同步神器DataX异构数据源间数据同步同步MySQL与HDFS相互实战
Datax 实战使用 继上一篇 阿里开源数据同步神器DataX异构数据源间数据同步基础介绍与快速入门之后的实战篇 1.MySQL-To-HDFS 环境 & 准备说明: 描述: 为了快速搭建测试 ...
- 推荐一个开源的任务管理工具DooTask(支持私有部署)
原文出处:https://www.yundashi168.com/382.html 今天老逛推荐一个开源的任务管理工具DooTask,该工具会提供各类文档协作功能.在线思维导图.在线流程图.项目管理. ...
- 推荐一个开源的任务管理工具
往期热门文章: 1.妙用Java 8中的 Function接口 消灭if...else... 2.1 平方厘米在元宇宙卖到 14 万?单价比北京学区房贵多了! 3.干掉visio,这个画图神器真的绝了 ...
- ZXing是一个开源Java类库用于解析多种格式的条形码和二维码
ZXing是一个开源Java类库用于解析多种格式的条形码和二维码 2014年05月07日 17:30:37 shine4j 阅读数 5677 blog迁移至:http://www.micmiu.com ...
- 推荐一个开源文件管理系统，简单好用
大家好,我是为广大程序员兄弟操碎了心的小编,每天推荐一个小工具/源码,装满你的收藏夹,每天分享一个小技巧,让你轻松节省开发效率,实现不加班不熬夜不掉头发,是我的目标! 今天小编推荐一个开源文件 ...
- 离线数据同步神器：DataX，支持几乎所有异构数据源的离线同步到MaxCompute
2019独角兽企业重金招聘Python工程师标准>>> 摘要: 概述 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL.Oracle.SqlSer ...
- mysql获取最好成绩对应数据的其他项_开源数据同步神器——canal
前言 如今大型的IT系统中,都会使用分布式的方式,同时会有非常多的中间件,如redis.消息队列.大数据存储等,但是实际核心的数据存储依然是存储在数据库,作为使用最广泛的数据库,如何将mysql的数据 ...
- 开源数据同步神器——canal
前言 如今大型的IT系统中,都会使用分布式的方式,同时会有非常多的中间件,如redis.消息队列.大数据存储等,但是实际核心的数据存储依然是存储在数据库,作为使用最广泛的数据库,如何将mysql的数据 ...
- datax 定时执行多个job_数据同步神器Datax源码重构
每日一句永远不要认为我们可以逃避, 我们的每一步都决定着最后的结局, 我们的脚步正在走向我们自己选定的终点.Do not ever think about that we can escape , o ...
最新文章
- 用C语言编写万年历6,C语言编写万年历
- Treelabeling 异或性质，位运算，染色法，二分图（2100）
- Go进阶(5): 数组与切片+多维数组+map切片
- Vue项目部署遇到的问题及解决方案
- 说说Android的广播(4) - 前台队列为什么比后台队列快？
- AI从业人员需要必备这些算法和工具！
- linux c 语言编程如何把串口字符串数据写到txt文件中_C 语言简单编程速成 | Linux 中国...
- SpringBoot数据访问CannotGetJdbcConnectionException: Failed to obtain JDBC Connection异常的解决方式。
- 人机交互-3-评估的基础知识
- ps无缝拼图教程一：无缝拼接花纹图案
- unity-光照实时GI（Realtime GI）
- ORACLE ORA-01950 对表空间无权限
- 国内外数字源表品牌对比
- Z 字形变换(C语言)
- 2020七月实训GUI学生信息管理系统
- unity3d培训_002
- 360加固宝加固应用后，出现java.lang.ClassNotFoundException异常
- linux安装驱动bz2,Linux系统中安装Razer驱动
- 阿拉伯数字转换成中文或中文大写
- android 音频转码慢,适用于Android的最佳音频和视频转码抑制软件