ETL工具Kettle使用

2024-05-10 18:01:54

1.下载kettle：https://sourceforge.net/projects/pentaho/files/Data%20Integration/7.0/pdi-ce-7.0.0.0-25.zip/download

说明：kettle 是pentaho收购的一个etl工具,pentaho是一家BI解决方案的商业公司。

2.解压文件：pdi-ce-7.0.0.0-25.zip，执行：spoon.bat

3.在mysql中创建两个数据库：test1和test2，在test1中创建user1表，在test2中创建user2表用来测试

3.测试操作数据库test1中的user1表和数据库test2中的user2表

3.1 新建一个转换（transformation），点击DB连接，选择对应数据库类型，创建两个连接：l1,l2.

若测试连接出现错误：

错误连接数据库 [localhost_3306] : org.pentaho.di.core.exception.KettleDatabaseException:
Error occurred while trying to connect to the database

Driver class 'org.gjt.mm.mysql.Driver' could not be found, make sure the 'MySQL' driver (jar file) is installed.
org.gjt.mm.mysql.Driver

将mysql-connector-java-5.1.38-bin.jar拷贝至目录：pdi-ce-7.0.0.0-25\data-integration\lib下，重启程序，新建DB连接：

3.2 在【核心对象】下的【输入】中找到【表输入】，双击鼠标左键将【表输入】添加到“转换的图形视图”中，然后在【输出】找到【插入/更新】添加到“转换的图形视图”中，效果如下：

3.3 在视图中双击【表输入】，选择输入数据库和修改所需SQL查询语句：

3.4 双击【插入/更新】，选好要插入的数据库和表，再点击【获取字段】，【获取和更新字段】：

3.5 此时，可点击【运行】或F9，执行此转换，成功后的user2表如下图：

3.6 设置定时执行转换：新建一个job，将【START】和【转换】添加到视图中，设置关联转换文件和定时时间：

设置好后，点击【运行】，就会根据你设置的时间间隔来执行相应的“转化”了。

转载于:https://www.cnblogs.com/Jian-Zhang/p/8721575.html

ETL工具Kettle使用相关推荐

四十二、ETL工具Kettle的转换步骤
1. ETL工具Kettle的转换步骤 1.1 Kettle转换步骤的具体内容: 字符串处理字符串的拆分字符串的替换行列变换其他转换步骤闭合距离 XSL转换数值范围 2 字符串的处理 2. ...
四十一、ETL工具kettle输出步骤
1. ETL工具Kettle的输出步骤 Kettle输入步骤主要分为以下几类: 数据库输出表输出更新.删除.插入和更新文件输出文本文件输出 XML输出 Excel文件输出其他报表和应用 2 ...
ETL工具KETTLE常用设计之——作业设计思路模板
目录 01:检查数据库连接: 02:设置环境变量: 03:设计各自数据流程转换: 04:邮件通知: ETL工具KETTLE用来设计数据流程,无论什么逻辑的数据流程,一般都有一个通用的设计模板流程,在这 ...
开源ETL工具kettle系列
开源ETL工具kettle系列之常见问题摘要:本文主要介绍使用kettle设计一些ETL任务时一些常见问题,这些问题大部分都不在官方FAQ上,你可以在kettle的论坛上找到一些问题的答案 1. J ...
开源ETL工具kettle系列之常见问题
摘要:本文主要介绍使用kettle设计一些ETL任务时一些常见问题,这些问题大部分都不在官方FAQ上,你可以在kettle的论坛上找到一些问题的答案 1. Join 我得到A 数据流(不管是基于文件或 ...
三十九、ETL工具Kettle基础使用
1. Kettle工具介绍 Kettle是一款国外开源的ETL工具,纯Java编写,开业在Windows.Linux.Unix上运行,可以高效稳定的完成数据抽取. Kettle中文名叫水壶,该项目的主 ...
记录今天用ETL工具KETTLE遇到打不开job问题
众所周知,kettle是一款开源易上手的etl工具.今天连上公司远程windows服务器后,就发现kettle不知道被谁动过,卡成了无响应 ,后随即关闭kettle准备重启.然而这时意外发生了,再次打 ...
免费开源ETL工具KETTLE
1.ETL概念 ETL:Extract-Transform-Load的缩写,即数据抽取.转换.装载的过程.ETL一词较常用在数据仓库,但其对象并不限于数据仓库. ETL是构建数据仓库的重要一环,用户从 ...
ETL工具Kettle简介和安装配置基本使用
什么是Kettle Kettle是一款国外开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行,绿色无需安装,数据抽取高效稳定. Kettle 中文名称叫水壶,该项目的主程 ...

最新文章

热门文章