kettle教程---kettle作业调度，根据更新时间增量更新

附：Kettle实战视频教程，需要的朋友可以看看学习下哈~~

kettle实战第一讲-文件和数据库表的互相转换处理_哔哩哔哩 (゜-゜)つロ干杯~-bilibili
kettle实战第二讲-数据库单表的全量同步_哔哩哔哩 (゜-゜)つロ干杯~-bilibili
kettle实战第三讲-数据库单表的增量同步_哔哩哔哩 (゜-゜)つロ干杯~-bilibili
kettle实战第四讲-同步错误原因记录到数据库日志表_哔哩哔哩 (゜-゜)つロ干杯~-bilibili
kettle实战第五讲-多个数据库表融合到一个数据库业务表_哔哩哔哩 (゜-゜)つロ干杯~-bilibili
kettle实战第六讲-比较不同的数据库表进行数据的一致性处理_哔哩哔哩 (゜-゜)つロ干杯~-bilibili
kettle实战第七讲-通过配置文件做表的全量同步，一个作业统统搞定_哔哩哔哩 (゜-゜)つロ干杯~-bilibili
kettle实战第八讲-通过配置文件做数据表的增量同步，一个作业统统搞定_哔哩哔哩 (゜-゜)つロ干杯~-bilibili
kettle实战第九讲-通过配置文件做表的全量同步_哔哩哔哩 (゜-゜)つロ干杯~-bilibili
kettle实战第十讲-windows下的kettle作业调度_哔哩哔哩 (゜-゜)つロ干杯~-bilibili
kettle实战第十一讲-Linux下的kettle作业调度_哔哩哔哩 (゜-゜)つロ干杯~-bilibili

本文接上一篇，只写到读取日志。在平时工作当中，会遇到这种情况，而且很常见。比如：增量抽取(每隔2个小时抽取截至到上次抽取时间的记录)
本文中会用到作业，先来熟悉下作业的概念

简单地说，一个转换就是一个ETL的过程，而作业则是多个转换、作业的集合，在作业中可以对转换或作业进行调度

实际情况中，每次抽取完毕，会写入日志表，记录本次抽取时间，下次抽取会根据本次抽取的成功时间，开始获取数据进行抽取。

我们可以使用作业来完成调度任务，需要用到调度控件【start】和【成功】这两个。

【start】可以控制执行频率，控制什么时间执行，间隔多长时间执行都可以进行配置，还是比较方便的。
下面需要这5个控件来完成，我们逐一看下每个控件是怎么使用的。

1）【start】控件。

如下图，该控件可以配置定时执行时间和时间间隔，是否重复等。为了实时抽取，我们把重复给勾选上，类型选中时间间隔，以分钟计算，每60分钟执行一次作业。

2）【转换1】-获取student表的更新时间，我们点击右键，进入转换的编辑页面

点击【设置变量】，将表输入的结果放入变量中。

3）【转换2】-student表作业，我们点击右键，进入转换的编辑页面，设置相应的表输入和表输出项，如下图

4）【转换3】-写同步日志，我们点击右键，进入转换的编辑页面，此处包含一个【sql脚本】，写入sql后点击保存

转换完成。
效果每次隔1个小时抽取，写入日志表。下次抽取日志表之后的数据。
欢迎关注公众号【大喇叭玩转数据库】，学习kettle、数据库和开发方面的知识

kettle教程---kettle作业调度，根据更新时间增量更新相关推荐

[SQL基础教程] 1-5 表的删除和更新
[SQL基础教程] 1-5 表的删除和更新表的删除语法 DROP TABLE <表名>; 法则 1-12 删除的表无法恢复表定义的更新语法 ALTER TABLE<表名> ...
GitHub：GitHub简介、使用方法、经验总结(图文教程)之详细攻略(持续更新！)
GitHub:GitHub简介.使用方法.经验总结(图文教程)之详细攻略(持续更新!) 目录 GitHub简介 1.GitHub发展历程 2.GitHub特点 3.GitHub六大基本功能 4.Git ...
Provisioning Services 7.8 入门系列教程之十一通过版本控制自动更新虚拟磁盘
续Provisioning Services 7.8 入门系列教程之十通过类自动更新虚拟磁盘从前两的两种更新方式可以看出,它们有一个共同的特点,即需要产生(复制)完成的虚拟磁盘副本,然后进行相关的 ...
logstash mysql增量_Logstash jdbc 按时间增量更新的一些总结
不同数据库的支持 mysql 数据类型显示样例是否支持timestamp statement tracking_column tracking_column_type SQL示例 date 202 ...
【ZT】【详细教程】WPS如何关闭自动更新和WPS热点？（ksomisc.exe）
受不了WPS三条两头的自动升级了(升级倒好,每升级一次就把经典界面给修改了!),终于决定关闭WPS的自动升级了. C:\Users\Administrator\AppData\Local\Kingso ...
彻底关闭华为系统更新教程，也可以激活系统更新，最全教程，亲测
华为P40Pro手机为例,自动出了鸿蒙系统,问题是源源不断,网络不稳定,系统不流畅,APP闪退,等等一系列问题,还是原先得EMUI 11.0.0系统好用,可是我用华为助手降级之后,还是不行,自动给你更 ...
ios14测试版兼容软件,iOS14测试版抢先体验教程！你的iPhone可以更新吗？【附iOS14独有彩蛋】...
原标题:iOS14测试版抢先体验教程!你的iPhone可以更新吗?[附iOS14独有彩蛋] [IceTiger 原创资讯] Hi 大家下午好,我是虎哥! WWDC2020大会上为我们带来了最新iOS1 ...
java撤销删除_[Java教程]利用npm安装/删除/发布/更新/撤销发布包
[Java教程]利用npm安装/删除/发布/更新/撤销发布包 0 2017-06-10 00:00:32 一.什么是npm? npm是javascript的包管理工具,是前端模块化下的一个标志性产物 ...
mujoco机器人建模教程和优质资源总结-长期更新
mujoco机器人建模教程和优质资源总结-长期更新前言最近要利用mujoco搭建一个定制化的击球模型,有一些基础的功能我找不到实现的例程.因此想着能不能做一个归纳和总结,在准备向社区"白 ...

kettle教程---kettle作业调度，根据更新时间增量更新

kettle教程---kettle作业调度，根据更新时间增量更新相关推荐

最新文章

热门文章