ETL异构数据源Datax_数据准备

文章目录

一、Oracle数据库准备
- 1. 初始化表结构
- 2. 生成测试数据
二、使用docker创建mysql
- 2.1. 构建mysql容器
- 2.1. 创建datax数据库
- 2.3. 初始化表结构

一、Oracle数据库准备

1. 初始化表结构

--删除otbs1
drop table otbs1;--创建otbs1表
CREATE TABLE otbs1 (
IDNO NUMBER,
COL1 VARCHAR2(255) NULL,
COL2 NUMBER(32) NULL,
COL3 NUMBER(32) NULL,
DT DATE NOT NULL,
COL5 FLOAT NULL,
COL6 VARCHAR2(255) NULL,
COL7 VARCHAR2(255) NULL,
COL8 VARCHAR2(255) NULL,
COL9 VARCHAR2(255) NULL,
COL10 VARCHAR2(255) NULL
);

2. 生成测试数据

-- 初始化数据
insert into OTBS1 (IDNO,COL1, COL2, COL3, DT, COL5,COL6, COL7,COL8, COL9, COL10)
Values (1,'字符串1', 1, 1696248667889, sysdate,3.141592653578,'字符串2','字符串3','字符串4','字符串5','字符串6');

-- 多次执行如下语句产生测试数据
insert into otbs1 select * from otbs1;
commit;-- 修改id
update otbs1 set idno=rownum;--添加主键索引
alter table otbs1 add constraint pk_id primary key(idno);

二、使用docker创建mysql

2.1. 构建mysql容器

docker run --name=fxmysql -v /app/mysql/log:/var/log/mysql -v /app/mysql/data:/var/lib/mysql  --privileged=true -v /app/mysql/conf:/etc/mysql -e MYSQL_ROOT_PASSWORD=123456 -p 3306:3306 -d mysql:5.7.32 --character-set-server=utf8mb4

2.1. 创建datax数据库

-- 进入mysql容器
docker exec -it fxmysql mysql -uroot -p123456-- 创建datax数据库
create database datax;

2.3. 初始化表结构

--创建MySQL表
--一定要注意数据类型,特别是小数
CREATE TABLE otbs1 (
IDNO  BIGINT PRIMARY KEY,
COL1 VARCHAR(255) NULL,
COL2 DECIMAL(32) NULL,
COL3 DECIMAL(32) NULL,
DT DATETIME NOT NULL,
COL5 DOUBLE NULL,
COL6 VARCHAR(255) NULL,
COL7 VARCHAR(255) NULL,
COL8 VARCHAR(255) NULL,
COL9 VARCHAR(255) NULL,
COL10 VARCHAR(255) NULL);

ETL异构数据源Datax_数据准备_03相关推荐

ETL异构数据源Datax_工具部署_02
接上一篇:(企业内部) ETL异构数据源Datax_部署前置环境_01 https://gblfy.blog.csdn.net/article/details/118081253 文章目录一.直接下 ...
ETL异构数据源Datax_部署前置环境_01
文章目录一.概述 1. 是什么? 2. 开源地址二.简介 2.1. 设计架构 2.2. 框架结构三.检查环境 3.1. 检验是否安装JDK(1.8以上,推荐1.8) 3.2. 检验是否安装pyt ...
ETL异构数据源Datax_图形化数据同步_11
数据同步全量增量知识SQL和执行频次不一样,其他的都一样文章目录一.Oracle同步Mysql(全量) 1. 添加项目 2. 添加数据源 3. 添加任务 4. 构建json 5. 任务执行 6. ...
ETL异构数据源Datax_使用数据分片提升同步速度_05
文章目录 1. 构建json,添加数据分片 2. Mysql数据清除 3. 数据分片前后对比 1. 构建json,添加数据分片 {"job": {"setting&quo ...
ETL异构数据源Datax_日期增量同步_13
文章目录一.全量同步 1. 增量同步SQL 2. 构建reader 3. 构建writer 4. 字段对应关系映射 5. 构建json 6. 选择同步模板 7. 查询最早时间 8. 修改任务信息 9 ...
ETL异构数据源Datax_自增ID增量同步_12
文章目录增量同步方法 1.先同步存量数据 2.再同步增量数据(根据自增ID.日期条件) 前提条件: 1.只针对数据增长,如果老数据被update/delete则无法使用增量同步方式. 基于主键自增I ...
ETL异构数据源Datax_使用querySql_08
使用说明当用户配置了这一项之后,DataX系统就会忽略table,column 这些配置型,直接使用这个配置项的内容对数据进行筛选,例如需要进行多表join后同步数据,使用select a,b f ...
ETL异构数据源Datax_限速设置_06
文章目录一.提升job内Channel并发有几种配置方式二.配置简述三.案例 3.1. 第一种 3.2. 第二种 3.3. 第三种 3.4. 第四种 3.5. 案例实战 3.6. 总结前言: ...
使用DB查询分析器实现异构数据源中数据表的相互访问
1 引言硕士程序员马根峰(CSDN专访马根峰:海量数据处理与分析大师的中国本土程序员)推出的个人作品----万能数据库查询分析器,中文版本DB 查询分析器.英文版本<DB Query A ...

ETL异构数据源Datax_数据准备_03

文章目录

一、Oracle数据库准备

1. 初始化表结构

2. 生成测试数据

二、使用docker创建mysql

2.1. 构建mysql容器

2.1. 创建datax数据库

2.3. 初始化表结构

ETL异构数据源Datax_数据准备_03相关推荐

最新文章

热门文章