ETL异构数据源Datax_图形化数据同步

数据同步全量增量知识SQL和执行频次不一样，其他的都一样

文章目录

一、Oracle同步Mysql(全量)
- 1. 添加项目
- 2. 添加数据源
- 3. 添加任务
- 4. 构建json
- 5. 任务执行
- 6. 查看日志
- 7. 同步数量对比
二、Mysql同步Oracle(全量)
- 2.1. 添加构建reader
- 2.2. 添加构建writer
- 2.3. 配置同步映射字段
- 2.4. 构建json
- 2.4. 选择任务模板
- 2.5. 完成任务构建
- 2.6. 数据清理
- 2.7. 任务名称变更
- 2.8. 任务执行一次
- 2.9. 确定任务执行
- 2.10. 查看执行日志
- 2.11. 实时刷新日志
- 2.12. 数据验证

一、Oracle同步Mysql(全量)

1. 添加项目

test-project

2. 添加数据源

3. 添加任务

4. 构建json

{"job": {"setting": {"speed": {"channel": 3},"errorLimit": {"record": 0,"percentage": 0.02}},"content": [{"reader": {"name": "oraclereader","parameter": {"column": ["IDNO","COL1","COL2","COL3","DT","COL5","COL6","COL7","COL8","COL9","COL10"],"splitPk": "IDNO","connection": [{"jdbcUrl": ["jdbc:oracle:thin:@192.xxx.xx.xxx:1521:orcl"],"table": ["TEST.OTBS1"]}],"username": "username","password": "password"}},"writer": {"name": "mysqlwriter","parameter": {"column": ["IDNO","COL1","COL2","COL3","DT","COL5","COL6","COL7","COL8","COL9","COL10"],"connection": [{"jdbcUrl": "jdbc:mysql://127.0.0.1:3306/datax?autoReconnect=true&useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=CONVERT_TO_NULL&useSSL=false&serverTimezone=CTT&nullCatalogMeansCurrent=true","table": ["otbs1"]}],"username": "root","password": "123456"}}}]}
}

5. 任务执行

6. 查看日志

7. 同步数量对比

二、Mysql同步Oracle(全量)

2.1. 添加构建reader

2.2. 添加构建writer

2.3. 配置同步映射字段

2.4. 构建json

2.4. 选择任务模板

2.5. 完成任务构建

2.6. 数据清理

清空oracle数据otbs1

2.7. 任务名称变更

点击修改任务名称，默认是表名，datax-web未做配置可以二期开发，这是修改后的效果

2.8. 任务执行一次

2.9. 确定任务执行

2.10. 查看执行日志

2.11. 实时刷新日志

如果任务执行没有完成，查看实时日志需要点击刷新

2.12. 数据验证

ETL异构数据源Datax_图形化数据同步_11相关推荐

ETL异构数据源Datax_工具部署_02
接上一篇:(企业内部) ETL异构数据源Datax_部署前置环境_01 https://gblfy.blog.csdn.net/article/details/118081253 文章目录一.直接下 ...
ETL异构数据源Datax_部署前置环境_01
文章目录一.概述 1. 是什么? 2. 开源地址二.简介 2.1. 设计架构 2.2. 框架结构三.检查环境 3.1. 检验是否安装JDK(1.8以上,推荐1.8) 3.2. 检验是否安装pyt ...
ETL异构数据源Datax_日期增量同步_13
文章目录一.全量同步 1. 增量同步SQL 2. 构建reader 3. 构建writer 4. 字段对应关系映射 5. 构建json 6. 选择同步模板 7. 查询最早时间 8. 修改任务信息 9 ...
ETL异构数据源Datax_自增ID增量同步_12
文章目录增量同步方法 1.先同步存量数据 2.再同步增量数据(根据自增ID.日期条件) 前提条件: 1.只针对数据增长,如果老数据被update/delete则无法使用增量同步方式. 基于主键自增I ...
ETL异构数据源Datax_使用数据分片提升同步速度_05
文章目录 1. 构建json,添加数据分片 2. Mysql数据清除 3. 数据分片前后对比 1. 构建json,添加数据分片 {"job": {"setting&quo ...
ETL异构数据源Datax_数据准备_03
文章目录一.Oracle数据库准备 1. 初始化表结构 2. 生成测试数据二.使用docker创建mysql 2.1. 构建mysql容器 2.1. 创建datax数据库 2.3. 初始化表结构 ...
ETL异构数据源Datax_使用querySql_08
使用说明当用户配置了这一项之后,DataX系统就会忽略table,column 这些配置型,直接使用这个配置项的内容对数据进行筛选,例如需要进行多表join后同步数据,使用select a,b f ...
ETL异构数据源Datax_限速设置_06
文章目录一.提升job内Channel并发有几种配置方式二.配置简述三.案例 3.1. 第一种 3.2. 第二种 3.3. 第三种 3.4. 第四种 3.5. 案例实战 3.6. 总结前言: ...
ETL异构数据源Datax_datax-web简述_09
简介地址:https://github.com/WeiYe-Jing/datax-web DataX Web是在DataX之上开发的分布式数据同步工具,提供简单易用的操作界面,降低用户使用Dat ...

ETL异构数据源Datax_图形化数据同步_11

文章目录

一、Oracle同步Mysql(全量)

1. 添加项目

2. 添加数据源

3. 添加任务

4. 构建json

5. 任务执行

6. 查看日志

7. 同步数量对比

二、Mysql同步Oracle(全量)

2.1. 添加构建reader

2.2. 添加构建writer

2.3. 配置同步映射字段

2.4. 构建json

2.4. 选择任务模板

2.5. 完成任务构建

2.6. 数据清理

2.7. 任务名称变更

2.8. 任务执行一次

2.9. 确定任务执行

2.10. 查看执行日志

2.11. 实时刷新日志

2.12. 数据验证

ETL异构数据源Datax_图形化数据同步_11相关推荐

最新文章

热门文章