kettle清洗mysql数据_ETL工具Kettle使用以及与Java整合实现数据清洗

本文主要讲述kettle的使用和与Java整合,具体下载与安装请自行百度!

kettle有两种脚本方式:转换和工作,工作中可以添加转换.以下以转换为例.

1.新建一个转换,

2.在工作中经常用到的是表输入和表输出(从一个数据库中提炼数据，插入到另外一个数据库中进行保存)

点击核心对象 --> 输入 --> 表输入

这个节点是用来从数据库中查询数据

点击“表输入”-->新建首先创建一个数据库连接，要让kettle知道从哪里查询数据

kettle支持多种数据库连接，因为工作中用到的是mysql，所以其余的可以自行百度了解

因为在使用过程中，可能数据库编码方式不一致，所以需要制定编码，在创建数据连接的时候，点击高级选项卡，如图所示(set names utf8;)

在点击选项选项卡，如图所示：characterEncoding：utf8

创建完成后，点击保存，下面就是开始写sql，kettle支持sql中油自定义参数的形式，参数要使用${}来进行创建。注意一点，要勾选下面的，替换sql语句里的变量。

创建好后点击确定。

在创建一个节点，用来接收数据，点击输出中的表输出，创建数据库连接，和上面创建步骤一样

点击输入字段映射，可自动生成对应字段。

3.创建完成后，使用shift和鼠标左键将两个节点连接在一起

4.启动：

如果在查询时自定义了参数，那么在启动时需要个参数赋值：

5.还需注意一点，如果没有创建资源库，那么创建的转换/作业是要保存成脚本存放到本地，但是，如果已创建了资源库，那么脚本会错放到数据库中，不会生成文件！

6.资源库的创建

第一次需要新建资源库，如果已经创建，选择对应的资源库然后输入账号密码即可(账号密码默认admin)

在创建资源库时，点击+号，然后会出现图中的样式，我们选择第二个，会将数据生成到数据库中进行保存。

我们需要指定资源库存放的数据库连接是哪个，创建方式和上面我们创建节点的数据库连接一样，创建完后，选择数据库连接，名称和描述自己取名即可(尽量不要重复，与Java整合时需要这两个参数)

创建完成后，我们输入账号密码即可登录到资源库中。

kettle清洗mysql数据_ETL工具Kettle使用以及与Java整合实现数据清洗相关推荐

Java kettle 数据清洗_ETL工具Kettle使用以及与Java整合实现数据清洗
本文主要讲述kettle的使用和与Java整合,具体下载与安装请自行百度! kettle有两种脚本方式:转换和工作,工作中可以添加转换.以下以转换为例. 1.新建一个转换, 2.在工作中经常用到的是表 ...
kettle mysql 导入数据库_ETL工具—Kettle数据的导入导出—数据库到数据库
ETL简介: ETL(Extract-Transform-Load的缩写,即数据抽取.转换.装载的过程) 数据库到数据库下面讲解:kettle工具实现方法案例目的:从用户scott下将emp表导入 ...
kettle将excel导入数据库_ETL工具—Kettle数据的导入导出—Excel表到数据库
案例目的:当Excel中有几万条记录或者更多数据时,使用Kettle导入到数据库中.速度就能感到比复制粘贴快很多. 这里我会演示将"data.xlsx"表中数据有15万多条记录,使 ...
kettle使用_ETL工具(kettle)-《PentahoKettle解决方案-使用PDI构建开源ETL解决方案》
Matt Casters的博客:http://www.ibridge.be/. www.kettle.be 书籍: <Pentaho Kettle解决方案:使用PDI构建开源ETL解决方案&g ...
Kettle 读取MySQL数据
1,你得有个用来连接MySQL的jar包 2,把它放在kettle的lib目录下 3,找到表输入 4,新建一个 5,填参数,然后测试 6,成功了 7,点击获取SQL查询语句,就可以查看表了 8,输入查 ...
kettle使用_ETL工具(kettle)使用系列(二)
## 本章介绍一些kettle技巧和相关的问题解决方案 kettle数据抽取中文乱码(一) ==spoon.bak文件找到if "%PENTAHO_DI_JAVA_OPTIONS%&quo ...
kettle查询mysql获取uuid_使用kettle来根据时间戳或者批次号来批量导入数据，达到增量的效果。...
注意:1).由于是将上一步查询的值插入到下一步?的地方,所以一定要注意. 将带有?的步骤,替换SQL语句里面的变量,进行勾选. 从步骤插入数据,进行选择上一步的名称.2).步骤名称,自己起自己的名字. ...
oracle mysql 数据验证工具_Oracle Orion tool check io(ORACLE Orion 工具查看以及校验IO)
文档主要来自oracle官方文档performance 8.3章节 Oracle数据库提供了Orion,一种 I/O校准工具.Orion是预测Oracle数据库性能的工具,无需安装Oracle或创建数 ...
MySQL基础数据生成工具
这是一个自己写的用于生成基础MySQL数据的工具,仅供用于基础语法练习.该工具生成的所有数据均为虚拟,以上所有数据均为随机生成,需要者可自取. https://download.csdn.net/do ...

kettle清洗mysql数据_ETL工具Kettle使用以及与Java整合实现数据清洗

kettle清洗mysql数据_ETL工具Kettle使用以及与Java整合实现数据清洗相关推荐

最新文章

热门文章