(转)ETL利器Kettle实战应用解析系列一【Kettle使用介绍】
原文地址:http://www.cnblogs.com/limengqiang/archive/2013/01/16/KettleApply1.html
本系列文章主要索引如下:
一、ETL利器Kettle实战应用解析系列一【Kettle使用介绍】
二、ETL利器Kettle实战应用解析系列二 【应用场景和实战DEMO下载】
三、ETL利器Kettle实战应用解析系列三 【ETL后台进程执行配置方式】
本文主要阅读目录如下:
1、Kettle概念
2、下载和部署
3、Kettle环境配置
4、Kettle使用及组件介绍
ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据 的处理,转换,迁移,所以了解并掌握一种etl工具的使用,必不可少,这里我介绍一个我在工作中使用了3年左右的ETL工具Kettle,本着好东西不独 享的想法,跟大家分享碰撞交流一下!在使用中我感觉这个工具真的很强大,支持图形化的GUI设计界面,然后可以以工作流的形式流转,在做一些简单或复杂的 数据抽取、质量检测、数据清洗、数据转换、数据过滤等方面有着比较稳定的表现,其中最主要的我们通过熟练的应用它,减少了非常多的研发工作量,提高了我们 的工作效率,不过对于我这个.net研发者来说唯一的遗憾就是这个工具是Java编写的。
1、Kettle概念
Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。
Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。
Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做。
Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。
2、下载和部署
3、Kettle环境配置(有Java环境的直接忽略此章节)
3、1 安装java JDK
1)首先到官网上下载对应JDK包,JDK1.5或以上版本就行;
2)安装JDK;
3)配置环境变量,附配置方式:
安装完成后,还要对它进行相关的配置才可以使用,先来设置一些环境变量,对于Java来说,最需要设置的环境变量是系统路径变量path。
(1)要打开环境变量的设置窗口。右击“我的电脑”,在弹出的快捷菜单中选择“属性”选项,进入“系统属性”对话框,如图所示。选择“高级”标签,进入“高级”选项卡,再单击“环境变量”按钮,进入“环境变量”对话框,如图所示:
(2)在“Administrator的用户变量”列表框中,选择变量PATH,待其所在行变高亮后,单击“编辑”按钮,如图所示。
(3)在弹出的“编辑系统变量”对话框中,将JDK安装路径下的bin目录路径设置到Path变量中,如图所示。
编辑完后,单击“确定”按钮,进行保存,环境变量Path的设置就正式完成。
注意:设置Path变量的路径,必须是JDK安装目录中的bin目录,有时候在JDK安装目录的同一层会有JRE的安装目录,因此请谨慎选取相关路径,避免将路径设置成JRE目录下的bin目录。
3、2 测试JDK配置是否成功
设置好环境变量后,就可以对刚设置好的变量进行测试,并检测Java是否可以运行。
(1)单击“开始”按钮,选择“运行”选项,在“运行”对话框中输入cmd命令。
(2)之后单击“确定”按钮,打开命令行窗口。
(3)在光标处输入:javac命令,按下Enter键执行,即可看到测试结果
3、3 运行Kettle
2)创建一个新的job,点击 保存到本地路径,例如保存到D:/etltest下,保存文件名为EtltestJob,kettle默认job文件保存后后缀名为kjb;
Main Tree菜单列出的是一个transformation中基本的属性,可以通过各个节点来查看。 DB连接:显示当前transformation中的数据库连接,每一个transformation的数据库连接都需要单独配置。 Steps:一个transformation中应用到的环节列表 Hops:一个transformation中应用到的节点连接列表 |
|
Core Objects菜单列出的是transformation中可以调用的环节列表,可以通过鼠标拖动的方式对环节进行添加。 Input:输入环节 Output:输出环节 Lookup:查询环节 Transform:转化环节 Joins:连接环节 Scripting:脚本环节 |
4.3 Transformation转换介绍
类别 |
环节名称 |
功能说明 |
Input |
文本文件输入 |
从本地文本文件输入数据 |
表输入 |
从数据库表中输入数据 |
|
获取系统信息 |
读取系统信息输入数据 |
|
Output |
文本文件输出 |
将处理结果输出到文本文件 |
表输出 |
将处理结果输出到数据库表 |
|
插入/更新 |
根据处理结果对数据库表机型插入更新,如果数据库中不存在相关记录则插入,否则为更新。会根据查询条件中字段进行判断 |
|
更新 |
根据处理结果对数据库进行更新,若需要更新的数据在数据库表中无记录,则会报错停止 |
|
删除 |
根据处理结果对数据库记录进行删除,若需要删除的数据在数据库表中无记录,则会报错停止 |
|
Lookup |
数据库查询 |
根据设定的查询条件,对目标表进行查询,返回需要的结果字段 |
流查询 |
将目标表读取到内存,通过查询条件对内存中数据集进行查询 |
|
调用DB存储过程 |
调用数据库存储过程 |
|
Transform |
字段选择 |
选择需要的字段,过滤掉不要的字段,也可做数据库字段对应 |
过滤记录 |
根据条件对记录进行分类 |
|
排序记录 |
将数据根据某以条件,进行排序 |
|
空操作 |
无操作 |
|
增加常量 |
增加需要的常量字段 |
|
Scripting |
Modified Java Script Value |
扩展功能,编写JavaScript脚本,对数据进行相应处理 |
Mapping |
映射(子转换) |
数据映射 |
Job |
Sat Variables |
设置环境变量 |
Get Variables |
获取环境变量 |
Main Tree菜单列出的是一个Job中基本的属性,可以通过各个节点来查看。 DB连接:显示当前Job中的数据库连接,每一个Job的数据库连接都需要单独配置。 Job entries:一个Job中引用的环节列表
|
|
Job entries菜单列出的是Job中可以调用的环节列表,可以通过鼠标拖动的方式对环节进行添加。 每一个环节可以通过鼠标拖动来将环节添加到主窗口中。 并可通过shift+鼠标拖动,实现环节之间的连接。 |
类别 |
环节名称 |
功能说明 |
Job entries |
START |
开始 |
DUMMY |
结束 |
|
Transformation |
引用Transformation流程 |
|
Job |
引用Job流程 |
|
Shell |
调用Shell脚本 |
|
SQL |
执行sql语句 |
|
FTP |
通过FTP下载 |
|
Table exists |
检查目标表是否存在,返回布尔值 |
|
File exists |
检查文件是否存在,返回布尔值 |
|
Javascript |
执行JavaScript脚本 |
|
Create file |
创建文件 |
|
Delete file |
删除文件 |
|
Wait for file |
等待文件,文件出现后继续下一个环节 |
|
File Compare |
文件比较,返回布尔值 |
|
Wait for |
等待时间,设定一段时间,kettle流程处于等待状态 |
|
Zip file |
压缩文件为ZIP包 |
转载于:https://www.cnblogs.com/mansiisnam/p/5233584.html
(转)ETL利器Kettle实战应用解析系列一【Kettle使用介绍】相关推荐
- Kettle(ETL利器)实战应用大全
ETL工具Kettle最全的实战应用 详细列举了kettle的--安装.使用.问题.企业项目实战的解决方案. 一.KETTLE集群搭建 二. KETTLE初探 三. Pentaho Data Inte ...
- kettle实战-巧用合并记录组件完成业务对账
kettle实战-巧用合并记录组件轻松完成业务对账 应用场景: 对于互联网公司而言,无论是支付还是其他产品的交易操作都难免会涉及到对账的环节,这是保证公司与支付平台或者公司与渠道之间交易对等的关键.k ...
- 2.0 解析系列 | 一文详解新一代OceanBase云平台
小蚂蚁说: 9月21日,OceanBase 2.0 在云栖大会上重磅发布.我们将在接下来的时间里为大家持续推出 "OceanBase 2.0 技术解析系列" 文章,分别从 可运维性 ...
- Oracle特殊恢复原理与实战(DSI系列)
1.深入浅出Oracle(DSI系列Ⅰ) 2.Oracle特殊恢复原理与实战(DSI系列Ⅱ) 3.Oracle SQL Tuning(DSI系列Ⅲ)即将开设 4.Oracle DB Performan ...
- 【SQL开发实战技巧】系列(五):从执行计划看IN、EXISTS 和 INNER JOIN效率,我们要分场景不要死记网上结论
系列文章目录 [SQL开发实战技巧]系列(一):关于SQL不得不说的那些事 [SQL开发实战技巧]系列(二):简单单表查询 [SQL开发实战技巧]系列(三):SQL排序的那些事 [SQL开发实战技巧] ...
- Kettle 实战教程
Kettle 实战教程 1.引言.................................................................................... ...
- Fragment全解析系列(一):那些年踩过的坑
写文章注册登录 首页 下载App Fragment全解析系列(一):那些年踩过的坑 作者 YoKey 关注 2016.02.27 21:48 字数 3995 阅读 44322评论 120喜欢 419 ...
- 9 月直播课预告 | CODING DevOps 深度解析系列上线啦
9 月直播课抢先看 CODING DevOps 9 月直播课闪亮登场!本次线上直播课由 CODING 联合专业咨询与培训公司 - 青蓝咨询,于 9 月 22 日 - 24 日为同学们带来 CODING ...
- kettle实战教程-纯实战开发
kettle实战教程-纯实战开发 欢迎关注笔者的公众号: java大师, 每日推送java.kettle运维等领域干货文章,关注即免费无套路附送 100G 海量学习.面试资源哟!!个人网站: http ...
- Kettle实战视频教程
呕心沥血制作的kettle视频教程,免费提供给大家, 只要学不死,就往死里学,加油吧少年 学完本课程,您将掌握: 掌握kettle的基础知识,进阶知识和实际工作中的各种情况 适合人群: 1.熟悉数据库 ...
最新文章
- @ConfigurationProperties与@Value的区别
- Python到底有多实用?这些功能你需要了解
- MySQL Binlog三种格式介绍及分析
- 求一个数组的最长递减子序列 比如{9,4,3,2,5,4,3,2}的最长递减子序列为{9,5,4,3,2}...
- 消费者驱动的微服务契约测试套件Spring Cloud Contract
- 一、docker临时记录
- 17家新创 组物联网国家队
- python解释器在语法上不支持什么编程_python解释器和编辑器的区别 - CSDN
- 搭建最简单的Drool框架
- mysql 不允许保存修改_解决SQL SERVER 2014 不允许保存更改。您所做的更改要求删除并重新创建以下表。您对无法重新创建的表进行了更改或者启用了阻止保存要求重新创建表的更改选项...
- 自用tomcat、springboot、rust发布脚本
- python安装mysqldb报错
- MTK 6737 android6.0 user版本打开root权限(adb root权限和 apk root权限)
- PageNow企业级数据可视化开发平台
- NBA球员数据爬虫练习
- oracle10g http server HTMLDB
- 泽塔云发布全新AI产品 持续引领超融合云计算创新
- 月饼电商“内卷”?看数据如何驱动营销,全链路精细化运营抢占C位!
- java fuoco2_音乐术语《piu mosso con fuoco》是什么意思
- 杭州建筑工程师职称评审条件
热门文章
- IIS6.0系统日志中出现此错误Timer_MinBytesPerSecond,Timer_ConnectionIdle
- 微软 .NET 俱乐部在线发布会
- arm裸板驱动总结(makefile+lds链接脚本+裸板调试)
- spring boot / cloud (九) 使用rabbitmq消息中间件
- discuz uc_server 配置登录
- Java学习关于时间操作的应用类--Date类、Calendar类及其子类
- sublime text3 及相关的安装
- 设为首页收藏本站js代码(引自ecshop模板堂(ecmoban.com)
- jquery datepicker 显示12个月份
- TELERIK Reporting 实践