ETL异构数据源Datax_日期增量同步

文章目录

一、全量同步
- 1. 增量同步SQL
- 2. 构建reader
- 3. 构建writer
- 4. 字段对应关系映射
- 5. 构建json
- 6. 选择同步模板
- 7. 查询最早时间
- 8. 修改任务信息
- 9. 添加增量参数
- 10. 数据清理
- 11. 执行任务
- 12. 查看执行日期
- 13. 数据验证
- 15. 查看同步脚本
二、基于日期增量同步
- 2.1. 新增新数据
- 2.2. 执行数据同步
- 2.3. 查看日志
- 2.4. 查看数据库
- 2.5. 日期选取

一、全量同步

声明：
以增量方式数据同步，第一次是全量同步，从第二次同步开始以第一次同步完成后的时间为开始时间，进行增量同步！
注：咱们添加项目、添加任务模板先用以前的，直接任务构建

1. 增量同步SQL

     select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1 where dt > to_date(${lastTime},'yyyy-mm-dd hh24:mi:ss') and dt <= to_date(${currentTime},'yyyy-mm-dd hh24:mi:ss')

2. 构建reader

构建reader，填写增量同步SQL

3. 构建writer

4. 字段对应关系映射

5. 构建json

6. 选择同步模板

基础模板，可以在执行同步前进行任务信息的修改

刷新页面

7. 查询最早时间

查询同步数据的最早时间和最晚时间，等会会以最早时间为开始时间进行同步

8. 修改任务信息

9. 添加增量参数

-DlastTime='%s' -DcurrentTime='%s'

10. 数据清理

清空mysql数据库otbs1表的数据

11. 执行任务

12. 查看执行日期

如果不显示就刷新页面

13. 数据验证

15. 查看同步脚本

存量同步完成之后，查看同步脚本

从图中可以看出，以增量形式同步全量第一次完成后，开始时间自动变更成了当前时间，以后增量同步，就会一当前时间作为开始时间继续增量同步！

二、基于日期增量同步

查询数据库目前idno最大值

1048577

2.1. 新增新数据

新增3条数据

insert into otbs1 (IDNO, COL1, COL2, COL3, DT, COL5, COL6, COL7, COL8, COL9, COL10)
values ('1048578', '字符串1', '1', '1696248667889', '2021-06-29 13:22:26', '3.141592653578', '字符串2', '字符串3', '字符串4', '字符串5', '字符串6');
insert into otbs1 (IDNO, COL1, COL2, COL3, DT, COL5, COL6, COL7, COL8, COL9, COL10)
values ('1048579', '字符串1', '1', '1696248667889', '2021-06-29 13:22:26', '3.141592653578', '字符串2', '字符串3', '字符串4', '字符串5', '字符串6');
insert into otbs1 (IDNO, COL1, COL2, COL3, DT, COL5, COL6, COL7, COL8, COL9, COL10)
values ('1048580', '字符串1', '1', '1696248667889', '2021-06-29 13:22:26', '3.141592653578', '字符串2', '字符串3', '字符串4', '字符串5', '字符串6');

插入后再次查询idno最大值

1048580，在以前基础上堵了3条数据。

2.2. 执行数据同步

如果，这次增量同步的数量为3条，就说明是增量数据同步对吧

2.3. 查看日志

从同步日志可以看出，只同步了3条数据

2.4. 查看数据库

多了3条数据

2.5. 日期选取

找一个关键的业务日期

ETL异构数据源Datax_日期增量同步_13相关推荐

ETL异构数据源Datax_工具部署_02
接上一篇:(企业内部) ETL异构数据源Datax_部署前置环境_01 https://gblfy.blog.csdn.net/article/details/118081253 文章目录一.直接下 ...
ETL异构数据源Datax_自增ID增量同步_12
文章目录增量同步方法 1.先同步存量数据 2.再同步增量数据(根据自增ID.日期条件) 前提条件: 1.只针对数据增长,如果老数据被update/delete则无法使用增量同步方式. 基于主键自增I ...
ETL异构数据源Datax_部署前置环境_01
文章目录一.概述 1. 是什么? 2. 开源地址二.简介 2.1. 设计架构 2.2. 框架结构三.检查环境 3.1. 检验是否安装JDK(1.8以上,推荐1.8) 3.2. 检验是否安装pyt ...
ETL异构数据源Datax_图形化数据同步_11
数据同步全量增量知识SQL和执行频次不一样,其他的都一样文章目录一.Oracle同步Mysql(全量) 1. 添加项目 2. 添加数据源 3. 添加任务 4. 构建json 5. 任务执行 6. ...
ETL异构数据源Datax_使用querySql_08
使用说明当用户配置了这一项之后,DataX系统就会忽略table,column 这些配置型,直接使用这个配置项的内容对数据进行筛选,例如需要进行多表join后同步数据,使用select a,b f ...
ETL异构数据源Datax_限速设置_06
文章目录一.提升job内Channel并发有几种配置方式二.配置简述三.案例 3.1. 第一种 3.2. 第二种 3.3. 第三种 3.4. 第四种 3.5. 案例实战 3.6. 总结前言: ...
ETL异构数据源Datax_使用数据分片提升同步速度_05
文章目录 1. 构建json,添加数据分片 2. Mysql数据清除 3. 数据分片前后对比 1. 构建json,添加数据分片 {"job": {"setting&quo ...
ETL异构数据源Datax_数据准备_03
文章目录一.Oracle数据库准备 1. 初始化表结构 2. 生成测试数据二.使用docker创建mysql 2.1. 构建mysql容器 2.1. 创建datax数据库 2.3. 初始化表结构 ...
ETL异构数据源Datax_Oracle同步MySQL(全量)_04
文章目录一.Oracle同步Mysql 1. 构建json 2. 执行数据同步 3. 查看同步数据 4. 同步数据正确性和准确性 5. 同步日志分析一.Oracle同步Mysql 1. 构建jso ...

ETL异构数据源Datax_日期增量同步_13