ETL异构数据源Datax_使用querySql_08
使用说明
当用户配置了这一项之后,DataX系统就会忽略table,column
这些配置型,直接使用这个配置项的内容对数据进行筛选,例
如需要进行多表join后同步数据,使用select a,b from table_a
join table_b on table_a.id = table_b.id
当用户配置querySql时,OracleReader/MysqlReader直接忽略
table、column、where条件的配置,querySql优先级大于
table、column、where选项。
文章目录
- 1. 清空Oracle数据
- 2. 构建json
- 3. 执行脚本
- 4. 同步验证
- 5. 同步结果
1. 清空Oracle数据
Truncate TABLE OTBS1;
2. 构建json
vim querySql.json
{"job": {"setting": {"speed": {"channel": 5},"errorLimit": {"record": 0,"percentage": 0.02}},"content": [{"reader": {"name": "mysqlreader","parameter": {"connection": [{"querySql": ["select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1 where IDNO <= 1000"],"jdbcUrl": ["jdbc:mysql://127.0.0.1:3306/datax"]}],"username": "root","password": "123456"}},"writer": {"name": "oraclewriter","parameter": {"column": ["IDNO","COL1","COL2","COL3","DT","COL5","COL6","COL7","COL8","COL9","COL10"],"connection": [{"jdbcUrl": "jdbc:oracle:thin:@192.xxx.xxx.xxx:1521:orcl","table": ["DB.OTBS1"]}],"username": "username","password": "password"}}}]}
}
3. 执行脚本
python /app/datax/bin/datax.py /app/datax/job/querySql.json
4. 同步验证
5. 同步结果
2021-06-23 14:22:12.186 [job-0] INFO JobContainer -
任务启动时刻 : 2021-06-23 14:22:01
任务结束时刻 : 2021-06-23 14:22:12
任务总计耗时 : 10s
任务平均流量 : 6.14KB/s
记录写入速度 : 100rec/s
读出记录总数 : 1000
读写失败总数 : 0
ETL异构数据源Datax_使用querySql_08相关推荐
- ETL异构数据源Datax_工具部署_02
接上一篇:(企业内部) ETL异构数据源Datax_部署前置环境_01 https://gblfy.blog.csdn.net/article/details/118081253 文章目录 一.直接下 ...
- ETL异构数据源Datax_部署前置环境_01
文章目录 一.概述 1. 是什么? 2. 开源地址 二.简介 2.1. 设计架构 2.2. 框架结构 三.检查环境 3.1. 检验是否安装JDK(1.8以上,推荐1.8) 3.2. 检验是否安装pyt ...
- ETL异构数据源Datax_图形化数据同步_11
数据同步全量增量知识SQL和执行频次不一样,其他的都一样 文章目录 一.Oracle同步Mysql(全量) 1. 添加项目 2. 添加数据源 3. 添加任务 4. 构建json 5. 任务执行 6. ...
- ETL异构数据源Datax_日期增量同步_13
文章目录 一.全量同步 1. 增量同步SQL 2. 构建reader 3. 构建writer 4. 字段对应关系映射 5. 构建json 6. 选择同步模板 7. 查询最早时间 8. 修改任务信息 9 ...
- ETL异构数据源Datax_自增ID增量同步_12
文章目录 增量同步方法 1.先同步存量数据 2.再同步增量数据(根据自增ID.日期条件) 前提条件: 1.只针对数据增长,如果老数据被update/delete则无法使用增量同步方式. 基于主键自增I ...
- ETL异构数据源Datax_限速设置_06
文章目录 一.提升job内Channel并发有几种配置方式 二.配置简述 三.案例 3.1. 第一种 3.2. 第二种 3.3. 第三种 3.4. 第四种 3.5. 案例实战 3.6. 总结 前言: ...
- ETL异构数据源Datax_使用数据分片提升同步速度_05
文章目录 1. 构建json,添加数据分片 2. Mysql数据清除 3. 数据分片前后对比 1. 构建json,添加数据分片 {"job": {"setting&quo ...
- ETL异构数据源Datax_数据准备_03
文章目录 一.Oracle数据库准备 1. 初始化表结构 2. 生成测试数据 二.使用docker创建mysql 2.1. 构建mysql容器 2.1. 创建datax数据库 2.3. 初始化表结构 ...
- ETL异构数据源Datax_datax-web简述_09
简介 地址:https://github.com/WeiYe-Jing/datax-web DataX Web是在DataX之上开发的分布式数据同步工具,提供简 单易用的 操作界面,降低用户使用Dat ...
最新文章
- 正则表达式相关案例(很实用很强大)
- 直接路径读取对于延迟块清除的影响
- 干货:阅读跟踪 Java 源码的几个小技巧!
- 数学--矩阵快速幂详解
- ffmpeg 命令画中画效果
- RToax / fedora-coreos-config: [sysroot.mount] mount: wrong fs type, bad option, bad superblock on /
- 通过MDaemon自带功能,实现同部门用同一账号对外收发邮件
- 一招教你轻松恢复丢失的MP4视频
- 4.jvm初体验-内存溢出问题的分析与解决
- 在几何画板中如何制作圆柱的侧面展开动画_几何画板制作圆柱展开图过程详解...
- smartDNS让你的网络一触即达
- Tracking Attackers: Honeypot, Part 1 (Honeyd)
- 巅峰阁批量卡android,卡iPhoneQQ在线
- 计算机源代码英语,计算机源代码编写规范(国外英文资料).doc
- 盘点14个因安全事故引咎辞职的高管领导
- 关于uniapp识别不到夜神模拟器
- 直播美颜SDK动态贴纸详解
- mysql到底是什么_MySQL数据库之MySQL到底是什么
- 华中科技大计算机考研相关信息
- 五、C语言创建桌面程序:画笔和画刷