kettle查询mysql获取uuid_使用kettle来根据时间戳或者批次号来批量导入数据,达到增量的效果。...
注意:1)、由于是将上一步查询的值插入到下一步?的地方,所以一定要注意。
将带有?的步骤,替换SQL语句里面的变量,进行勾选。
从步骤插入数据,进行选择上一步的名称。2)、步骤名称,自己起自己的名字。
数据库连接,自己新建和编辑。
目标模式,如果是Greenplum或者postgresql要输入自己的模式。
目标表就是自己的数据表。
提交记录数量,一般1000或者2000。下面主选项使用批量插入进行勾选。
数据库字段,自己获取字段和映射,
更新,用来查询的关键字和更新字段。自行配置。
Switch/Case,Switch字段和Case值数据类型和Case值。
自己根据自己的字段和类型进行填写。
change步骤:
第一步。在数据源的库表里面查询出这批数据的最大时间或者最大的批次号。
第二步。然后在自己的数据表里面获取到开始时间或者最小的批次号
(此数据表自己初始化好起始时间start_time或者最小批次号和查询条件,比如第几步和那一张表)。
将第一步获取到的最大时间或者最大的批次号传递到第二步。
第三步。更新自己的初始化好的数据表,将自己初始化好的数据表的最大时间或者最大批次号字段修改。
同时进行表输入进行查询出数据。然后将这一步查询的数据传递到Switch/Case。
第四步。Switch/Case。将上一步的数据根据Switch/Case。进行传递。
第五步。进行各种数据表的输出。
第一步:1)、select '数据表名称' as table_name, 第几步 as part, COALESCE(max(update_time), now()) as next_time from数据表名称2)、postgresql,COALESCE()函数
主流数据库系统都支持COALESCE()函数,这个函数主要用来进行空值处理,其参数格
式如下: COALESCE ( expression,value1,value2……,valuen) 。
COALESCE()函数的第一个参数expression为待检测的表达式,而其后的参数个数不定。
COALESCE()函数将会返回包括expression在内的所有参数中的第一个非空表达式。如果
expression不为空值则返回expression;否则判断value1是否是空值,如果value1不为空值则返
回value1;否则判断value2是否是空值,如果value2不为空值则返回value3;……以此类推,
如果所有的表达式都为空值,则返回NULL。3)、MySQL,IFNULL函数是MySQL控制流函数之一,它接受两个参数,如果不是NULL,则返回第一个参数。
否则,IFNULL函数返回第二个参数。IFNULL(expression_1,expression_2);
第二步:1)、select ? as table_name, ? as part, start_time, ? as next_time from 数据表名称 where table_name='数据表名称' and part=第几步2)、将第一步的三个参数,传递到第二步的三个问好的地方。
第三步:查询出每个case所需要的值的数据。同时修改next_time最大时间或者最大批次号。select *, CASE WHEN "字段"='标识位' THEN (select to_char(to_number(COALESCE(max("Cd_batch"), to_char(now(), 'yyyyMMdd')||'00000'), '9999999999999') + 1, '9999999999999')from core_data.dn_data_reconciliation where "TableName"='数据表名称' and "字段"='标识位') END AS "Cd_batch", 'I' as "Cd_operation"
from 数据表名称 where '数据表名称'=? and 第几步=? and update_time>? and update_time<=?
kettle查询mysql获取uuid_使用kettle来根据时间戳或者批次号来批量导入数据,达到增量的效果。...相关推荐
- 使用kettle来根据时间戳或者批次号来批量导入数据,达到增量的效果。
1.Kettle是一款国外开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行,数据抽取高效稳定.下载图形化界面的zip包格式的,直接解压缩使用即可.安装部署模式这里不说了 ...
- 随笔编号-09 批量导入数据(Mysql)报MySQL server has gone away 问题的解决方法
问题场景: 使用*.sql 脚本,批量导入数据到mysql实例中,使用DOS 界面导入的,期间,到最后一步 source D:\aaa.sql 回车后,系统提示 MySQL server has g ...
- tp5大数据批量导入mysql_TP5框架下MySQL通过LOAD DATA INFILE批量导入数据详细操作
LOAD DATA INFILE 语句用法 参考手册 本文语句参数使用默认值 PHP: TP框架环境// 定义文件路径 $file_path = 'LOAD_DATA_LOCAL_INFILE.txt ...
- tp5 excel 导入 mysql_TP5框架下MySQL通过LOAD DATA INFILE批量导入数据详细操作
LOAD DATA INFILE 语句用法 参考手册 本文语句参数使用默认值 PHP: TP框架环境// 定义文件路径 $file_path = 'LOAD_DATA_LOCAL_INFILE.txt ...
- mysql循环load data_TP5框架下MySQL通过LOAD DATA INFILE批量导入数据详细操作
LOAD DATA INFILE 语句用法 参考手册 本文语句参数使用默认值 PHP: TP框架环境// 定义文件路径 $file_path = 'LOAD_DATA_LOCAL_INFILE.txt ...
- 导入向导批量导入数据至mysql数据库
今天在开发公司里的五级地址查询功能时,拿到地址五级分类表.包含了浙江省所有地区共计33509条数据.这些数据都需要存储在本地数据库中,如果一条一条录入直接现场去世.所以记录一下我今天使用Navicat ...
- MySQL批量导入数据
在我们使用数据库的过程中,避免不了备份.恢复.导入.导出数据,方法比较多,根据不同的数据量选择不同的方法,会提高我们的工作效率, (1)从表A导入数据到表B:一般涉及到表结构相同或者表结构不同等情况, ...
- 通过jsp向mysql批量导入数据_对大数据的批量导入MySQL数据库
自己的库里有索引在用insert导入数据时会变慢很多 使用事务+批量导入 可以配置使用spring+mybatis整合的方式关闭自动提交事务(地址),选择批量导入每一百条导入使用list存储值传入到m ...
- Mac使用MySQL Workbench如何批量导入数据
Mac使用MySQL Workbench批量导入Excel数据 首先新建一个表(在MySQL里新建,列名最好用英文),然后打开你要导入的文件(不要用中文表头) 选择另存为 CSV UTF-8(逗号分隔 ...
最新文章
- 时间序列竞赛炸榜技巧。
- How to track an installation through client log-fi
- oracle转mysql数据库
- UITableView UITableDataSource UITableViewDelegate的基本方法和属性
- 【渝粤教育】广东开放大学 会展项目管理 形成性考核 (59)
- LeetCode 1796. 字符串中第二大的数字
- mock模拟接口测试 vue_Easy Mock以及Vue+Mock.js模拟数据
- 只有单杀技能的飞鸽传书
- Tensorflow中的TFRecord、Queue和多线程
- 在手语世界里,健听人、数字人与听障人的交织
- 哈夫曼思维导图,第六章前半段思维导图
- 三菱伺服驱动器示例_三菱PLC控制伺服电机编程实例
- windows全系1
- 人人网相册加密密码破解
- 全景图下载,全景管家高清全景图(一键下载建E、720云全景原图)
- 使用ffmpeg在视频中心添加透明水印
- 如何对齐word封面的下划线(word标尺如何使用)
- 【PP-1】定义生产计划参数文件
- Google Earth上的GeoEye数据
- 画论38 董其昌《画禅室随笔》
热门文章
- Ubuntu解压缩命令详解
- java将office文件转化为PDF(含PPT、Excel、word)
- 自动化签到的三种方式
- [08006][17002] io 错误: the network adapter could not establish the connection (connection_id=qdoc1bwg
- 远程调用:远程过程调用(RPC)和远程方法调用(RMI)
- BZOJ 4605: 崂山白花蛇草水 树套树 权值线段树套kdtree
- 云南大学软件测试,云南大学《软件测试》软件测试期末报告.pdf
- Softmax激活函数
- python 3.7安装festtext、提示要更新_现代开发者必备:5个更流畅、更受欢迎的Python web框架...
- 宠物领养管理系统|宠物寄养管理系统JAVA|JSP|SSM|Springboot|web计算机毕业设计源码