三十九、ETL工具Kettle基础使用
1. Kettle工具介绍
- Kettle是一款国外开源的ETL工具,纯Java编写,开业在Windows、Linux、Unix上运行,可以高效稳定的完成数据抽取。
- Kettle中文名叫水壶,该项目的主程序员MATT希望把各种数据放到一个壶里,然后以一种指定的格式流出
- Kettle的下载地址:https://sourceforge.net/projects/pentaho/files/Data%20Integration/3.2.0-stable/
Kettle和Informatica相比,两者各自的优点如下表所示:
- Kettle基础知识
- Kettle开发流程
- Kettle组件介绍
- Kettle案例介绍
2 Kettle基础知识
Spoon——转换(transform)设计工具(GUI方式):通过图形界面来设计ETL转换过程(transformation)和作业(Job);
Pan——转换(transform)执行器(命令行方式):Pan允许批量运行有Spoon设计的ETL转换(例如使用时间调度器),Pan是一个后台执行的程序,没有图形界面。
Kitchen——工作(Job)执行器(命令行方式):Kitchen允许批量使用由Chef设计的任务(例如使用一个时间调度器),它也是一个后台运行程序。
Carte——基于Jetty的,监听Http请求
Encr——用户加密密码
Job和Transformation的差别:Tranformation专注于数据的ETL,而Job的范围比较广,可以是Tranformation,也可以是Mail、SQL、Shell和FTP等,甚至可以是另外一个Job。
3 Kettle的开发流程
Kettle的开发流程如下:
- 双击运行Kettle目录下的Spoon.bat,出现kettle欢迎界面;
- 创建资料库(可省略);
- 创建数据库连接;
- 创建转换;
- 创建Jobs,进行流程化控制。
4 Kettle组件介绍
4.1 数据源获取数据
4.2 数据更新
5 Kettle随机数案例介绍
5.1 Kettle软件的启动
5.2 Kettle软件的核心对象
5.3 Kettle生成随机数的步骤
三十九、ETL工具Kettle基础使用相关推荐
- [Python从零到壹] 三十九.图像处理基础篇之图像几何变换(镜像仿射透视)
欢迎大家来到"Python从零到壹",在这里我将分享约200篇Python系列文章,带大家一起去学习和玩耍,看看Python这个有趣的世界.所有文章都将结合案例.代码和作者的经验讲 ...
- 【零基础学Java】—List集合(三十九)
[零基础学Java]-List集合(三十九) java.util.list接口 extends Collection接口 list接口的特点: 1.有序的集合,存储元素和取出元素的顺序是一致的(存储1 ...
- 风炫安全Web安全学习第三十九节课 反序列化漏洞基础知识
风炫安全Web安全学习第三十九节课 反序列化漏洞基础知识 反序列化漏洞 0x01 序列化相关基础知识 0x01 01 序列化演示 序列化就是把本来不能直接存储的数据转换成可存储的数据,并且不会丢掉数据 ...
- Python编程基础:第三十九节 面向对象编程Object Oriented Programming
第三十九节 面向对象编程Object Oriented Programming 前言 实践 前言 到目前为止我们都是函数式编程,也即将每一个功能块写为一个函数.其实还有一种更常用的编程方式被称为面向对 ...
- 四十二、ETL工具Kettle的转换步骤
1. ETL工具Kettle的转换步骤 1.1 Kettle转换步骤的具体内容: 字符串处理 字符串的拆分 字符串的替换 行列变换 其他转换步骤 闭合距离 XSL转换 数值范围 2 字符串的处理 2. ...
- WPF,Silverlight与XAML读书笔记第三十九 - 可视化效果之3D图形
原文:WPF,Silverlight与XAML读书笔记第三十九 - 可视化效果之3D图形 说明:本系列基本上是<WPF揭秘>的读书笔记.在结构安排与文章内容上参照<WPF揭秘> ...
- 【正点原子MP157连载】第三十九章 LCD驱动实验-摘自【正点原子】STM32MP1嵌入式Linux驱动开发指南V1.7
1)实验平台:正点原子STM32MP157开发板 2)购买链接:https://item.taobao.com/item.htm?&id=629270721801 3)全套实验源码+手册+视频 ...
- javaweb学习总结(三十九)——数据库连接池
javaweb学习总结(三十九)--数据库连接池 一.应用程序直接获取数据库连接的缺点 用户每次请求都需要向数据库获得链接,而数据库创建连接通常需要消耗相对较大的资源,创建时间也较长.假设网站一天10 ...
- 【正点原子FPGA连载】第三十九章OV7725摄像头RGB-LCD显示实验 -摘自【正点原子】新起点之FPGA开发指南_V2.1
1)实验平台:正点原子新起点V2开发板 2)平台购买地址:https://detail.tmall.com/item.htm?id=609758951113 2)全套实验源码+手册+视频下载地址:ht ...
最新文章
- SQL中LIKE的妙用
- 【MM】需求类型清单
- 《Ext详解与实践》节选:自定义单元格的显示格式
- 如何在 React Native 中写一个自定义模块
- 信号与系统实验:用Matlab表示常用连续时间信号
- Pycharm代码格式化快捷键及其设置方法
- 如何使用jQuery更改超链接的href
- AtCoder Grand Contest 019
- Python中Selenium设置无界面访问
- QGIS展示三维DEM数据
- js对象转json字符串
- heic转换成jpg,学会这个方法就够了
- vue插槽面试题_vue面试题(一)
- 在angular中实现图片/视频的预览
- FMI飞马网 | AI人工智能/大数据/Database/Linear Algebra/Python/机器学习/Hadoop 有哪些书籍?福利可下载!
- 【Python学习笔记】(九)正则表达式:re模块
- java 大量数据返回_怎么接收第三方接口返回的大量数据?
- 网络摄像头无插件直播H265编码视频播放器EasyPlayer网页播放器不能播放怎么处理?
- GetTickCount 得到时间进行比较计算遇到的异常
- 沃伦巴菲特和约尔欧斯汀如何克服公共演讲的恐惧
热门文章
- java发送http请求的四种方式
- 阿里秒杀系统架构优化思路
- 九个步骤让你成为PHP专家
- 程序员怎样才能写出一篇好的技术文章
- Mongo使用navicat解除14天限制
- PHP的strtotime
- 自考计算机英语答题技巧,自考英语题型答题技巧-自考英语写作
- 耳机不分主从是什么意思_“在网吧上网给玩家配置这样的耳机,是什么意思?”哈哈哈...
- linux下的定时任务处理
- python 生成数组1:1:20_英特尔“演化算法”新框架:29个Python代码块,自动生成新算法...