kettle 入门（一）输入输出写日志 / 插入更新

新建转换（不是新建作业）

然后我们先在主对象树里面设置好db连接

测试一下就可以继续了。

里面有各种数据库的连接类型根据自己的需求选择数据库连接

配置好之后我们就开始写kettle脚本

（在里面写具体的sql脚本就可以）

现在核心对象里面找到表输入拉入到我们新建的转换里

然后是表输出

然后将我们这个两个插件连接到一起

在核心对象找出文本文件输出

将他们连接在一起

连接选择的时候选择错误步骤处理，然后点击红色xx 会有个弹窗

可以选择一个错误输出，也可以在错误输出里面选择字段，和文件的具体存放路径和格式。

又或者我们把这个步骤替换成写日志这个插件

道理是一样的但是这个写日志插件会把错误输出或者输出在控制台显示，如果

数据量太大的话会把kettle卡死，如果在表输入限制条数的话可以，还是建议是使用

文本文件输出，更加的具体，和保存性，更加我们对于这个错误进行处理

还可以在表输入和输出之间加一个字段选择插件

这个主要是做什么的呢？我是这么理解的

就像他直观所见我们可以在选择和修改里面把表输入的字段

重新命名，定义他的长度和精度

元数据里面就是经常使用的了，我们可以把表输入里面的

字段通过这个插件进行类型转换，比如varchar(100)转换成

date类型（number，string..等等..）而且可以选择具体的显示格式

和编码类型防止乱码出现。

这个脚本主要是做什么的呢！用来把一个表拉取到另一个库，或者不同数据库的表中

这样比较方便，而且效率很高，又不怕不同数据库类型不同而困惑。

今天先教大家这个一个方案，其实还有很多种做法，我们日后一一讲解

希望大家多多关注互相学习,我们共同成长，以后争取每日一更共同加油努力

kettle 入门（一）输入输出写日志 / 插入更新相关推荐

kettle 插入更新数据增量_使用Kettle实现数据实时增量同步
2018-09-28: 示例job已上传至github,地址见文末 0. 前言本文介绍了使用Kettle对一张业务表数据(500万条数据以上)进行实时(10秒)同步,采用了时间戳增量回滚同步的方法. ...
kettle 常用输出（插入更新、表输出、执行 SQL 脚本）
上一篇文章 ,主要讲了 kettle 的原理.安装及简单的使用.其中用到了一种输出方式:插入更新. 这篇文章,主要介绍下常用的输出方式:插入更新.表输出.执行 SQL 脚本. 插入更新插入更新,顾 ...
kettle 插入更新数据增量_kettle基于时间戳增量更新
思路1: 1.提前建好ts时间表,设置两个字段分别为current_t和load_t,current用于比较原表中日期的上限,load_t则为上次加载的日期,几位原表中日期的下限. 1 create ...
Oracle 插入大量数据时不要写日志
1. 采用高速的存储设备,提高读写能力,如:EMC 和NetApp, 2. 假如tab1表中的没有数据的话 DROP TABLE TAB1; CREATE TABLE TAB1 A ...
Kettle实现共享数据库连接及插入更新组件实例
常用组件 1.共享数据库连接新建的数据库连接都只属于某一个转换程序如果你想让所有的转换程序都能使用这个连接,需要开启共享 2.表输入组件需求∶将表中的数据,同步到另一张这张表中. 分析这是一个 ...
开源纯C日志函数库iLOG3快速入门（五、与随手写的简单写日志函数的比较）
2019独角兽企业重金招聘Python工程师标准>>> 前几天看到一个网友的评论:"这种一般自己实现个用用就行了没必要整第三方库". 的确,很多个人或公司都自己 ...
kettle插入/更新的使用
插入更新的主要作用就是根据条件来检索数据,如果说相同更新,不相同添加! 假设一个业务场景,我们需要从这个数据库的表里面拿数据,但是,在输出表里面可能会有相同的数据我们先假设我们的输出表和输入表判 ...
Pentaho Data Integration - Kettle 入门指南
Pentaho Data Integration - Kettle 入门指南 PDI(Pentaho Data Integration,或者Kettle)是一款开源的ETL工具,可以用它来对数据进行抽 ...
hbase记录日志wal_SQL Server事务日志–第1部分–日志结构和预写日志记录（WAL）算法
hbase记录日志wal SQL Server transaction log is one of the most critical and in the same time one of the ...

kettle 入门（一）输入输出写日志 / 插入更新

kettle 入门（一）输入输出写日志 / 插入更新相关推荐

最新文章

热门文章