ETL异构数据源Datax_Oracle同步MySQL(全量)

文章目录

一、Oracle同步Mysql
- 1. 构建json
- 2. 执行数据同步
- 3. 查看同步数据
- 4. 同步数据正确性和准确性
- 5. 同步日志分析

一、Oracle同步Mysql

1. 构建json

vim oracle2mysql.json

{"job": {"setting": {"speed": {"channel": 3},"errorLimit": {"record": 0,"percentage": 0.02}},"content": [{"reader": {"name": "oraclereader","parameter": {"column": ["IDNO","COL1","COL2","COL3","DT","COL5","COL6","COL7","COL8","COL9","COL10"],"connection": [{"jdbcUrl": ["jdbc:oracle:thin:@192.xxx.xxx.xxx:1521:orcl"],"table": ["TEST.OTBS1"]}],"username": "username","password": "password"}},"writer": {"name": "mysqlwriter","parameter": {"column": ["IDNO","COL1","COL2","COL3","DT","COL5","COL6","COL7","COL8","COL9","COL10"],"connection": [{"jdbcUrl": "jdbc:mysql://127.0.0.1:3306/datax?autoReconnect=true&useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=CONVERT_TO_NULL&useSSL=false&serverTimezone=CTT&nullCatalogMeansCurrent=true","table": ["otbs1"]}],"username": "root","password": "123456"}}}]}
}

2. 执行数据同步

python /app/datax/bin/datax.py /app/datax/job/oracle2mysql.json

2021-06-23 12:28:12.390 [job-0] INFO  StandAloneJobContainerCommunicator - Total 1048576 records, 69143488 bytes | Speed 1.65MB/s, 26214 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 26.038s |  All Task WaitReaderTime 8.483s | Percentage 100.00%
2021-06-23 12:28:12.402 [job-0] INFO  JobContainer -
任务启动时刻                    : 2021-06-23 12:27:31
任务结束时刻                    : 2021-06-23 12:28:12
任务总计耗时                    :                 41s
任务平均流量                    :            1.65MB/s
记录写入速度                    :          26214rec/s
读出记录总数                    :             1048576
读写失败总数                    :                   0

3. 查看同步数据

登陆mysql

4. 同步数据正确性和准确性

数据量的准确性和数据的正确性

Oracle同步数据量：1048576
Mysql插入数据量：1048576

DT同步日期没问题
COL5数据也没有都是精度

5. 同步日志分析

2021-06-23 12:27:32.228 [job-0] INFO  JobContainer - jobContainer starts to do prepare ...
2021-06-23 12:27:32.229 [job-0] INFO  JobContainer - DataX Reader.Job [oraclereader] do prepare work .
2021-06-23 12:27:32.230 [job-0] INFO  JobContainer - DataX Writer.Job [mysqlwriter] do prepare work .
2021-06-23 12:27:32.232 [job-0] INFO  JobContainer - jobContainer starts to do split ...
2021-06-23 12:27:32.233 [job-0] INFO  JobContainer - Job set Channel-Number to 3 channels.
2021-06-23 12:27:32.242 [job-0] INFO  JobContainer - DataX Reader.Job [oraclereader] splits to [1] tasks.
2021-06-23 12:27:32.243 [job-0] INFO  JobContainer - DataX Writer.Job [mysqlwriter] splits to [1] tasks.
2021-06-23 12:27:32.276 [job-0] INFO  JobContainer - jobContainer starts to do schedule ...
2021-06-23 12:27:32.280 [job-0] INFO  JobContainer - Scheduler starts [1] taskGroups.
2021-06-23 12:27:32.283 [job-0] INFO  JobContainer - Running by standalone Mode.
2021-06-23 12:27:32.300 [taskGroup-0] INFO  TaskGroupContainer - taskGroupId=[0] start [1] channels for [1] tasks.
2021-06-23 12:27:32.314 [taskGroup-0] INFO  Channel - Channel set byte_speed_limit to -1, No bps activated.
2021-06-23 12:27:32.315 [taskGroup-0] INFO  Channel - Channel set record_speed_limit to -1, No tps activated.
2021-06-23 12:27:32.348 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[0] attemptCount[1] is started

结果输出:
可以看到channel设置为3,限速为-1.
虽然channel设置为3,但是只启动了一个task.
splitPk如果不填写，将视作用户不对单表进行切分，OracleReader
使用单通道同步全量数据。

ETL异构数据源Datax_Oracle同步MySQL(全量)_04相关推荐

ETL异构数据源Datax_MySQL同步Oracle(全量)_07
文章目录 1. 清除Oracle数据库中OTBS1表的数据 2. 构建json 3. 执行脚本 4. 同步验证 5. 同步分析 7. 同步结果 1. 清除Oracle数据库中OTBS1表的数据 Tru ...
DataX oracle同步mysql(全量和增量)
本篇博客说说DataX如何进行全量和增量数据同步,虽然用演示oracle同步到mysql,但其他数据库之间的同步都差不多 1.DataX介绍 DataX 是一个异构数据源离线同步工具,致力于实现包括关 ...
ETL异构数据源Datax_图形化数据同步_11
数据同步全量增量知识SQL和执行频次不一样,其他的都一样文章目录一.Oracle同步Mysql(全量) 1. 添加项目 2. 添加数据源 3. 添加任务 4. 构建json 5. 任务执行 6. ...
ETL异构数据源Datax_工具部署_02
接上一篇:(企业内部) ETL异构数据源Datax_部署前置环境_01 https://gblfy.blog.csdn.net/article/details/118081253 文章目录一.直接下 ...
liunx系统mysql全量备份和增量备份
前提在互联网项目中最终还是读数据进行操作,都离不开曾删改查,那么数据是重中之重,数据库的备份就显得格外重要. 但是每次都直接导出整个数据库的sql文件,显然是不现实的.对数据库的性能影响比较 ...
mysql全量备份、增量备份实现方法
mysql全量备份.增量备份.开启mysql的logbin日志功能.在/etc/my.cnf文件中加入以下代码: ? 1 2 3 4 5 6 7 [mysqld] log-bin = "/h ...
mysql 数据增量备份_MySQL数据库之mysql全量备份、增量备份实现方法
本文主要向大家介绍了MySQL数据库之mysql全量备份.增量备份实现方法 ,通过具体的内容向大家展现,希望对大家学习MySQL数据库有所帮助. mysql全量备份.增量备份.开启mysql的logb ...
异构数据源离线同步工具之DataX的安装部署
异构数据源离线同步工具之DataX的安装部署
ETL异构数据源Datax_日期增量同步_13
文章目录一.全量同步 1. 增量同步SQL 2. 构建reader 3. 构建writer 4. 字段对应关系映射 5. 构建json 6. 选择同步模板 7. 查询最早时间 8. 修改任务信息 9 ...

ETL异构数据源Datax_Oracle同步MySQL(全量)_04

文章目录

一、Oracle同步Mysql

1. 构建json

2. 执行数据同步

3. 查看同步数据

4. 同步数据正确性和准确性

5. 同步日志分析

ETL异构数据源Datax_Oracle同步MySQL(全量)_04相关推荐

最新文章

热门文章