一：kettle的安装

下载kettle安装包

Kettle的官网下载地址为Pentaho from Hitachi Vantara - Browse /Data Integration at SourceForge.net。

安装kettle

由于kettle是绿色无需安装的，所以只要解压下载kettle工具即可。

3.配置 Kettle
将Java和Kettle的安装路径都添加至系统环境变量中，便于后续在Windows任何位置都可进行引用启动Kettle工具；将数据库驱动添加至Kettle安装包下的lib文件夹下，避免创建数据库连接时出现数据库找不到的问题。

4. 启动Kettle
双击Kettle安装目录下的Spoon.bat脚本，启动Kettle。通过查看Kettle启动的界面，判断Kettle工具是否启动成功。
Kettle的主界面大致分为4部分，即工具栏、工具图标、Kettle的树形列表以及工作区，具体如图1所示。
在图1中，第一行红框是工具栏，主要有“文件”“编辑”“视图”“执行”“工具”以及“帮助”6个操作选项；第二行红框是工具图标；左侧红框是Kettle的树形列表，主要包含“主对象树”和“核心对象”，其中“主对象树”包含转换和作业，而“核心对象”包含转换和作业各自对应的核心对象，且“核心对象”就是后续操作中使用到的步骤或控件；右侧红框是工作区，图1中显示的是一个欢迎界面，工作时关闭欢迎界面即可。

图1kettle主界面

二：kettle的基本概念

一个数据抽取主要包括创建一个作业，并且每个作业可以包括多个转换操作，此数据抽取操作可以通过kettle工具完成，也可以通过编写程序调用的方式实现。

1.作业

大多数的etl项目都需要完成各式各样的维护工作。例如：传送文件，验证数据库的数据表是否存在等操作，这些操作必须按一定顺序完成由于转换时按并行方式执行，因此需要一个可以串行执行的作业处理这些操作。

一个作业包含一个或多个作业项并且这些作业都是以某种形式执行的作业的执行的顺序由作业项之间的跳和每个作业项之间的结果执行所决定。

图2 创建作业

选择“文件”→“ 保存”命令，可以对作业进行重命名以及选择作业保存的路径。

在Kettle主界面的工作区右击空白处，从弹出的快捷菜单中选择“新建记录”命令，并添加注释的内容；然后单击“通用”，将Start和“作业”依次拖曳到Kettle的工作区；单击“邮件”，将“发送邮件”也拖曳到Kettle的工作区；然后同时选中Start和“作业”右击，从弹出的快捷菜单中选择“新节点”命令，建立Start和“作业”之间的连接，再通过同样的操作将“作业”与“作业”、“作业”与“发送邮件”之间也建立连接。具体效果如图

图3 一个简单的作业例子

图4 对作业项进行重命名

2.转换

转换是ETL解决方案中重要的组成部分之一，主要用于数据的抽取、转换以及加载等操作，其本质是一组图形化的数据转换配置的逻辑结构。一个转换包括一个或多个步骤，如读取文件、过滤输出行、数据清洗或将数据加载到数据库中等步骤。转换中的步骤是通过跳连接的。跳定义了一个单向通道，允许数据从一个步骤向另一个步骤流动。在Kettle中，数据的单位是行，数据流就是数据行从一个步骤到另一个步骤的移动。

双击kettle目录下的spoon.bat脚本，启动kettle工具，在工作栏处选择“文件”→“新建”→“转换”命令，创建一个转换，名称默认是转换1。

图5 创建转换

选择“文件”→“保存”命令，可以对转换进行重命名以及选择保存路径。

图6 成功创建转换

主对象树中的节点主要用于显示当前转换的运行配置参数、数据库连接、步骤以及节点连接（跳）等信息。单机树形列表的核心对象，切换到转换的核心界面。转换到核心界面。

图转换的核心界面。如下图。

图7 转换的核心对象

在kettle界面的工作区右击空白处，从弹出的快捷菜单中选择“新建注释”命令，并添加注释内容；然后单击“输入”，将“表输入”拖拽到kettle的工作区；单击“输出”将“文本文件输出”拖拽到kettle工作区；按住Ctrl键的同时选中“表输入”和“文本文件输出”并右击，从弹出的快捷菜单中选择“新建节点连接”命令，在弹出的窗口中选择“起始步骤”和“目标步骤”，单击“确认”按钮，建立“表输入”向“文本文件输出”的连接，具体效果如图所示。

图8 一个简单的转换例子

图9 MySQL数据库连接配置

注：读《数据清洗（黑马程序员/著）》笔记

kettle基本工具的使用相关推荐

数据清洗、可视化工具
数据清洗.可视化工具,阅读笔记数据清洗为什么需要清洗? 数据来源不一导致出现 (1)格式不同 (2)数据冗余 (3)没有统一标准,描述方式 (4)数据合并方式不同数据清理工具: (1)IBM I ...
python数据清洗工具、方法、过程整理归纳（一、数据清洗之常用工具——numpy，pandas）
文章目录 1 背景 2 常用工具 2.1 numpy 2.2 pandas 1 背景数据清洗是整个数据分析过程的第一步,也是整个数据分析项目中最耗费时间的一步: 数据分析的过程决定了数据分析的准确性 ...
ETL数据清洗Kettle工具
文章目录一.简介二.资源库(新建.管理) 三.转换 1. 新建数据源 2. 简单的输入输出配置步骤 2.1 配置表输入 2.2 配置表输出 2.3 保存 2.4 启动与执行结果 3. 转换 1. ...
《数据清洗》——kettle基本工具的使用
转换的基本概念及操作一个数据抽取主要包括创建一个作业,并且每个作业可以包括多个转换操作,此数据抽取操作可以通过kettle工具完成,也可以通过编写程序调用的方式实现. 转换是ETL解决方案中重要的组 ...
数据清洗及OpenRefine工具
数据分析中,首先要进行数据清洗,才可以继续训练模型,预测等操作. 首先介绍一下什么是数据清洗数据清洗从名字上也看的出就是把"脏"的"洗掉",指发现并纠正数据文 ...
kettle/Pentaho工具之阻塞数据直到步骤都完成
我们在job和transformation开发中会有等待某一步完成后,再执行下一步的需求,在job作业中实现这一需求参考下面这篇文章: kettle(Pentaho)job作业并行都执行完后再执行下一 ...
数据清洗------kettle将txt数据转至数据库表中
1.创建数据库表 CREATE TABLE `inputMediaData` ( `ID` bigint(20) NOT NULL AUTO_INCREMENT , `ProvideId` text ...
Kettle PDI工具连接Mysql时报Driver class ‘org.gjt.mm.mysql.Driver‘ could not be found, make sure the ‘MySQL
具体报错如下: org.pentaho.di.core.exception.KettleDatabaseException: Error occurred while trying to connec ...
在ARM处理器架构下部署kettle etl工具注意事项
测试机器一:华为鲲鹏920处理器,arm v8指令集,centos 7 arm版系统测试机器二:天津飞腾ft1500a处理器,arm v8指令集,麒麟4.0 linux操作系统(类似于ubuntu ...

kettle基本工具的使用

1.作业

2.转换

kettle基本工具的使用相关推荐

最新文章

热门文章