ETL异构数据源Datax_自增ID增量同步

文章目录

增量同步方法
1.先同步存量数据
2.再同步增量数据（根据自增ID、日期条件）
前提条件:
1.只针对数据增长,如果老数据被update/delete则无法使用增量同步方式。
基于主键自增ID增量同步

Oracle同步Mysql演示
idno采用序列自增
添加项目

AutoIncrID-Project

添加模板

构建reader，添加增量同步SQL

select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1 where idno > ${startId} and idno <= ${endId}

说明：
采用的是左开右闭同步原则:
大于0小于等于当前最大max(idno)（0,1048576]
左闭右闭和左闭右开都存在数据缺失和重复数据的现象！

构建writer

编辑任务

修改任务名称
辅助参数选择主键自增

-DstartId='%s' -DendId='%s'# 表名
otbs1#主键
idno

清理数据
将Mysql数据库中的otbs1数据清空

执行一次

查看实时日志，任务尚未执行完成，需要手动点击【刷新日志】

Mysql最大的idno是1048576

上面是第一次同步存量数据，下一次同步应该是大于1048576小于最大的idno，如果单独使用datax需要自己设置，datax-web帮我们做了这个事情。

刷新页面，点击编辑

在Oracle数据中的otbs1表中添加一条数据，这是同步应该是同步(1048576,max(idno)]简言之(1048576,1048577]，同步数量为1条，对吧！

插入数据

-- 初始化数据
insert into OTBS1 (IDNO,COL1, COL2, COL3, DT, COL5,COL6, COL7,COL8, COL9, COL10)
Values (1048577,'字符串1', 1, 1696248667889, sysdate,3.141592653578,'字符串2','字符串3','字符串4','字符串5','字符串6');

ETL异构数据源Datax_自增ID增量同步_12相关推荐

ETL异构数据源Datax_工具部署_02
接上一篇:(企业内部) ETL异构数据源Datax_部署前置环境_01 https://gblfy.blog.csdn.net/article/details/118081253 文章目录一.直接下 ...
ETL异构数据源Datax_日期增量同步_13
文章目录一.全量同步 1. 增量同步SQL 2. 构建reader 3. 构建writer 4. 字段对应关系映射 5. 构建json 6. 选择同步模板 7. 查询最早时间 8. 修改任务信息 9 ...
ETL异构数据源Datax_部署前置环境_01
文章目录一.概述 1. 是什么? 2. 开源地址二.简介 2.1. 设计架构 2.2. 框架结构三.检查环境 3.1. 检验是否安装JDK(1.8以上,推荐1.8) 3.2. 检验是否安装pyt ...
ETL异构数据源Datax_图形化数据同步_11
数据同步全量增量知识SQL和执行频次不一样,其他的都一样文章目录一.Oracle同步Mysql(全量) 1. 添加项目 2. 添加数据源 3. 添加任务 4. 构建json 5. 任务执行 6. ...
ETL异构数据源Datax_使用querySql_08
使用说明当用户配置了这一项之后,DataX系统就会忽略table,column 这些配置型,直接使用这个配置项的内容对数据进行筛选,例如需要进行多表join后同步数据,使用select a,b f ...
ETL异构数据源Datax_数据准备_03
文章目录一.Oracle数据库准备 1. 初始化表结构 2. 生成测试数据二.使用docker创建mysql 2.1. 构建mysql容器 2.1. 创建datax数据库 2.3. 初始化表结构 ...
ETL异构数据源Datax_限速设置_06
文章目录一.提升job内Channel并发有几种配置方式二.配置简述三.案例 3.1. 第一种 3.2. 第二种 3.3. 第三种 3.4. 第四种 3.5. 案例实战 3.6. 总结前言: ...
ETL异构数据源Datax_使用数据分片提升同步速度_05
文章目录 1. 构建json,添加数据分片 2. Mysql数据清除 3. 数据分片前后对比 1. 构建json,添加数据分片 {"job": {"setting&quo ...
ETL异构数据源Datax_datax-web简述_09
简介地址:https://github.com/WeiYe-Jing/datax-web DataX Web是在DataX之上开发的分布式数据同步工具,提供简单易用的操作界面,降低用户使用Dat ...

ETL异构数据源Datax_自增ID增量同步_12

文章目录

ETL异构数据源Datax_自增ID增量同步_12相关推荐

最新文章

热门文章