Kettle实现共享数据库连接及插入更新组件实例
常用组件
1、共享数据库连接
新建的数据库连接都只属于某一个转换程序
如果你想让所有的转换程序都能使用这个连接，需要开启共享
2、表输入组件
需求∶将表中的数据，同步到另一张这张表中。
分析
- 这是一个转换任务
- 输入︰读取表的数据
- 转换 : 没有转换过程
- 输出 : 将结果写入表中
实现
开发程序
配置输入
先配置数据库连接共享
配置输出
测试运行
3、插入更新组件
工作需求∶将A表的数据同步到B表中，保证B表的数据与A表的数据一致，实现是不断更新的操作
- A表发生了更新，更新的数据也会同步到B表中
- A表没有发生更新，即使程序运行，B表也不发生改变
- 数据同步的过程
- 每次只同步更新的数据
- 已经同步过的数据，就不会再进行同步
- 工作中一般一天会同步一次，程序就每天执行一次
解决∶插入更新的输出组件
功能 : 只会同步发生更新的数据，已经同步过的数据不会再次同步
- 数据更新
- 插入一条新的数据
- 修改一条老的数据
- 数据更新
实现 : 任何时候，两张表的数据同步是一致的
开发转化任务流程图
定义输入
与之前步骤一致
定义插入 / 更新
只以id来做比较
测试运行
修改原表数据或增加，再执行一次，自动进行更新
总结
本文主要两个知识点：
- 共享数据库连接
- 插入更新组件
- 同步业务
- 全量︰每次将所有的数据都同步一份
- 保证A和B是一致的
- 每次先删除B所有内容，然后，再同步
- 程序的性能比较差，数据量大了以后，非常慢，不建议使用
- 表输出︰全量的组件
- 保证A和B是一致的
- 增量︰每次将发生更新的数据同步，没有发生更新就是已经同步过的数据不再同步
- 保证A和B是一致的
- 工作中都使用增量的方式
- 插入更新︰增量的组件
- 全量︰每次将所有的数据都同步一份
以上两个知识点非常贴合和适用于在工作场景中，还可以跟作业搭配，一逸永劳
Kettle实现共享数据库连接及插入更新组件实例相关推荐
- kettle 插入更新 数据增量_使用Kettle实现数据实时增量同步
2018-09-28: 示例job已上传至github,地址见文末 0. 前言 本文介绍了使用Kettle对一张业务表数据(500万条数据以上)进行实时(10秒)同步,采用了时间戳增量回滚同步的方法. ...
- kettle插入/更新的使用
插入更新的主要作用就是根据条件来检索数据,如果说相同 更新,不相同添加! 假设一个业务场景,我们需要从这个数据库的表里面拿数据,但是,在输出表里面可能会有相同的数据 我们先假设我们的输出表和输入表判 ...
- kettle 插入更新 数据增量_kettle基于时间戳增量更新
思路1: 1.提前建好ts时间表,设置两个字段分别为current_t和load_t,current用于比较原表中日期的上限,load_t则为上次加载的日期,几位原表中日期的下限. 1 create ...
- kettle 常用输出（插入更新、表输出、执行 SQL 脚本）
上一篇 文章 ,主要讲了 kettle 的原理.安装及简单的使用.其中用到了一种输出方式:插入更新. 这篇文章,主要介绍下常用的输出方式:插入更新.表输出.执行 SQL 脚本. 插入更新 插入更新,顾 ...
- sql 插入text字段包含特殊字符_Kettle（PDI）转换中输出之插入/更新详解
概述 Insert / update(插入 / 更新)此步骤首先使用一个或多个查询关键字查找表中的一行.如果找不到该行,则插入该行.如果可以找到它,并且要更新的字段相同,则不执行任何操作.如果它们不完 ...
- JDBC批处理插入更新MySQL Oracle
Today we will look into JDBC Batch insert and update examples in MySQL and Oracle databases. Sometim ...
- day38 mycql 初识概念,库(增删改查),表(增删改)以及表字段(增删改查),插入更新操作...
在Navicat中把已经生成的表逆向成模型 数据库上,右键-逆向数据库到模型 ego笔记: 增删改查 文件夹(库)增create database day43 charset utf8;改alter ...
- 一起谈.NET技术，自动更新组件分享
一. 摘要 前两天在博客上发布了一篇英文的自动更新组件文章Release a AutoUpdater tool,那么在这篇文章中,我们也对其功能进行一些简单说明,这个组件非常简单,所以大家可以下载进行 ...
- mysql插入第一_mySQL教程 第5章 插入 更新与删除数据
第5章 插入 更新与删除数据 使用SQL Manager管理工具连接到schoolDB.由于三张表都设置了主键,因此,以下练习中插入的记录,主键不能重. 插入数据 1. 练习:为表的所有字段插入数据 ...
最新文章
- 在windows下安装concurrentlua
- 天涯共此式 有AI月更圆
- AlphaGo：人工智能与深度学习
- android size_t在哪个头文件,size_t
- 飞鸽传书 获得磁盘的C#描述信息
- 解决ajax重复提交问题？
- 一个可变布局列表，有9种布局item大小，每个item可拖拽切换位置
- 前端地图之色斑图渲染（数据为矢量数据）（二）——以leaflet为例
- 非IE内核浏览器支持activex插件
- linux编译成功没有响应,解决Xilinx ZCU106 Linux启动后没有响应问题。
- SpringBoot + uni-app开发企业级图书商城系统
- 中国大学moocpython答案查询_中国大学MOOC(慕课)_Python编程基础_mooc题库答案查询...
- 序列标注NER、POS、Chunking、SRL
- 思科9124光纤交换机配置管理使用手册
- python opcua使用教程
- oracle 查询调用某一存储过程的job,oracle job 调用存储过程的使用
- OpenStreetMap初探（七）——渲染和地图瓦片之安装Mapnik
- Navicat for Mysql建立本地连接出现 1044或1045的问题并如何解决。
- C语言完整代码实现：二叉树的先序遍历、中序遍历、后序遍历
- Gartner陈勇：中国企业更积极探索双模IT