注意:1)、由于是将上一步查询的值插入到下一步?的地方,所以一定要注意。

将带有?的步骤,替换SQL语句里面的变量,进行勾选。

从步骤插入数据,进行选择上一步的名称。2)、步骤名称,自己起自己的名字。

数据库连接,自己新建和编辑。

目标模式,如果是Greenplum或者postgresql要输入自己的模式。

目标表就是自己的数据表。

提交记录数量,一般1000或者2000。下面主选项使用批量插入进行勾选。

数据库字段,自己获取字段和映射,

更新,用来查询的关键字和更新字段。自行配置。

Switch/Case,Switch字段和Case值数据类型和Case值。

自己根据自己的字段和类型进行填写。

change步骤:

第一步。在数据源的库表里面查询出这批数据的最大时间或者最大的批次号。

第二步。然后在自己的数据表里面获取到开始时间或者最小的批次号

(此数据表自己初始化好起始时间start_time或者最小批次号和查询条件,比如第几步和那一张表)。

将第一步获取到的最大时间或者最大的批次号传递到第二步。

第三步。更新自己的初始化好的数据表,将自己初始化好的数据表的最大时间或者最大批次号字段修改。

同时进行表输入进行查询出数据。然后将这一步查询的数据传递到Switch/Case。

第四步。Switch/Case。将上一步的数据根据Switch/Case。进行传递。

第五步。进行各种数据表的输出。

第一步:1)、select '数据表名称' as table_name, 第几步 as part, COALESCE(max(update_time), now()) as next_time from数据表名称2)、postgresql,COALESCE()函数

主流数据库系统都支持COALESCE()函数,这个函数主要用来进行空值处理,其参数格

式如下: COALESCE ( expression,value1,value2……,valuen) 。

COALESCE()函数的第一个参数expression为待检测的表达式,而其后的参数个数不定。

COALESCE()函数将会返回包括expression在内的所有参数中的第一个非空表达式。如果

expression不为空值则返回expression;否则判断value1是否是空值,如果value1不为空值则返

回value1;否则判断value2是否是空值,如果value2不为空值则返回value3;……以此类推,

如果所有的表达式都为空值,则返回NULL。3)、MySQL,IFNULL函数是MySQL控制流函数之一,它接受两个参数,如果不是NULL,则返回第一个参数。

否则,IFNULL函数返回第二个参数。IFNULL(expression_1,expression_2);

第二步:1)、select ? as table_name, ? as part, start_time, ? as next_time from 数据表名称 where table_name='数据表名称' and part=第几步2)、将第一步的三个参数,传递到第二步的三个问好的地方。

第三步:查询出每个case所需要的值的数据。同时修改next_time最大时间或者最大批次号。select *, CASE WHEN "字段"='标识位' THEN (select to_char(to_number(COALESCE(max("Cd_batch"), to_char(now(), 'yyyyMMdd')||'00000'), '9999999999999') + 1, '9999999999999')from core_data.dn_data_reconciliation where "TableName"='数据表名称' and "字段"='标识位') END AS "Cd_batch", 'I' as "Cd_operation"

from 数据表名称 where '数据表名称'=? and 第几步=? and update_time>? and update_time<=?

kettle查询mysql获取uuid_使用kettle来根据时间戳或者批次号来批量导入数据,达到增量的效果。...相关推荐

  1. 使用kettle来根据时间戳或者批次号来批量导入数据,达到增量的效果。

    1.Kettle是一款国外开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行,数据抽取高效稳定.下载图形化界面的zip包格式的,直接解压缩使用即可.安装部署模式这里不说了 ...

  2. 随笔编号-09 批量导入数据(Mysql)报MySQL server has gone away 问题的解决方法

    问题场景: 使用*.sql 脚本,批量导入数据到mysql实例中,使用DOS 界面导入的,期间,到最后一步 source D:\aaa.sql  回车后,系统提示 MySQL server has g ...

  3. tp5大数据批量导入mysql_TP5框架下MySQL通过LOAD DATA INFILE批量导入数据详细操作

    LOAD DATA INFILE 语句用法 参考手册 本文语句参数使用默认值 PHP: TP框架环境// 定义文件路径 $file_path = 'LOAD_DATA_LOCAL_INFILE.txt ...

  4. tp5 excel 导入 mysql_TP5框架下MySQL通过LOAD DATA INFILE批量导入数据详细操作

    LOAD DATA INFILE 语句用法 参考手册 本文语句参数使用默认值 PHP: TP框架环境// 定义文件路径 $file_path = 'LOAD_DATA_LOCAL_INFILE.txt ...

  5. mysql循环load data_TP5框架下MySQL通过LOAD DATA INFILE批量导入数据详细操作

    LOAD DATA INFILE 语句用法 参考手册 本文语句参数使用默认值 PHP: TP框架环境// 定义文件路径 $file_path = 'LOAD_DATA_LOCAL_INFILE.txt ...

  6. 导入向导批量导入数据至mysql数据库

    今天在开发公司里的五级地址查询功能时,拿到地址五级分类表.包含了浙江省所有地区共计33509条数据.这些数据都需要存储在本地数据库中,如果一条一条录入直接现场去世.所以记录一下我今天使用Navicat ...

  7. MySQL批量导入数据

    在我们使用数据库的过程中,避免不了备份.恢复.导入.导出数据,方法比较多,根据不同的数据量选择不同的方法,会提高我们的工作效率, (1)从表A导入数据到表B:一般涉及到表结构相同或者表结构不同等情况, ...

  8. 通过jsp向mysql批量导入数据_对大数据的批量导入MySQL数据库

    自己的库里有索引在用insert导入数据时会变慢很多 使用事务+批量导入 可以配置使用spring+mybatis整合的方式关闭自动提交事务(地址),选择批量导入每一百条导入使用list存储值传入到m ...

  9. Mac使用MySQL Workbench如何批量导入数据

    Mac使用MySQL Workbench批量导入Excel数据 首先新建一个表(在MySQL里新建,列名最好用英文),然后打开你要导入的文件(不要用中文表头) 选择另存为 CSV UTF-8(逗号分隔 ...

最新文章

  1. 时间序列竞赛炸榜技巧。
  2. How to track an installation through client log-fi
  3. oracle转mysql数据库
  4. UITableView UITableDataSource UITableViewDelegate的基本方法和属性
  5. 【渝粤教育】广东开放大学 会展项目管理 形成性考核 (59)
  6. LeetCode 1796. 字符串中第二大的数字
  7. mock模拟接口测试 vue_Easy Mock以及Vue+Mock.js模拟数据
  8. 只有单杀技能的飞鸽传书
  9. Tensorflow中的TFRecord、Queue和多线程
  10. 在手语世界里,健听人、数字人与听障人的交织
  11. 哈夫曼思维导图,第六章前半段思维导图
  12. 三菱伺服驱动器示例_三菱PLC控制伺服电机编程实例
  13. windows全系1
  14. 人人网相册加密密码破解
  15. 全景图下载,全景管家高清全景图(一键下载建E、720云全景原图)
  16. 使用ffmpeg在视频中心添加透明水印
  17. 如何对齐word封面的下划线(word标尺如何使用)
  18. 【PP-1】定义生产计划参数文件
  19. Google Earth上的GeoEye数据
  20. 画论38 董其昌《画禅室随笔》

热门文章

  1. Ubuntu解压缩命令详解
  2. java将office文件转化为PDF(含PPT、Excel、word)
  3. 自动化签到的三种方式
  4. [08006][17002] io 错误: the network adapter could not establish the connection (connection_id=qdoc1bwg
  5. 远程调用:远程过程调用(RPC)和远程方法调用(RMI)
  6. BZOJ 4605: 崂山白花蛇草水 树套树 权值线段树套kdtree
  7. 云南大学软件测试,云南大学《软件测试》软件测试期末报告.pdf
  8. Softmax激活函数
  9. python 3.7安装festtext、提示要更新_现代开发者必备:5个更流畅、更受欢迎的Python web框架...
  10. 宠物领养管理系统|宠物寄养管理系统JAVA|JSP|SSM|Springboot|web计算机毕业设计源码