前面我们说了中台的定义今天让我们一起学习新的内容01PARTKettle基本介绍

Kettle是一款国外开源的ETL工具,纯java编写,可以在Windows、Linux、Unix等多个操作系统上运行,数据抽取高效稳定。Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。

Kettle的特点免费开源、易配置、不同数据库、两种脚本文件、图形界面设计、定时功能。Kettle中有两种脚本文件,transformation和job。transformation完成针对数据的基础转换,job则完成整个工作流的控制。Kettle家族目前包括4个产品:Spoon、Pan、CHEF、Kitchen。

SPOON 允许你通过图形界面来设计ETL转换过程(Transformation)。

PAN 允许你批量运行由Spoon设计的ETL转换 (例如使用一个时间调度器)。Pan是一个后台执行的程序,没有图形界面。CHEF 允许你创建任务(Job)。任务通过允许每个转换,任务,脚本等等,更有利于自动化更新数据仓库的复杂工作。任务通过允许每个转换,任务,脚本等等。任务将会被检查,看看是否正确地运行了。

KITCHEN 允许你批量使用由Chef设计的任务 (例如使用一个时间调度器)。KITCHEN也是一个后台运行的程序。02PARTKettle安装教程第一步:安装下载。因为kettle工具是开源免费的,直接百度搜索,根据自己的操作系统下载对应版本就行。

第二步:kettle工具安装。下载后直接点击安装包傻瓜式操作就行,按照界面提示直接下一步就行。安装完成如下图。

第三步:配置Java环境变量。具体步骤我就不多说了,网上搜索一大片,我就不献丑了。重点说一下配置成功的验证,在命令提示符界面输入Java后点击回车键,看到下图提示就是成功了。

第四步:运行kettle。在kettle的安装包找到Spoon.bat文件,双击运行。

03PARTKettle的基本操作Kettle的操作主要是创建转换任务(ktr文件)和创建作业流(job)串联任务。(一)创建转换任务第一步:创建空白转换。点击文件-新建-转换

第二步:创建数据库连接(DB连接)。右键点击DB连接——新建——填写数据库信息——点击TEST——点击OK完成。kettle支持Oracle、MySQL、SQLITE等多种类型的数据库,本次以MySQL数据库举例。

注:新安装的kettle可能没有数据库连接的驱动文件,需要提前下载(需要与数据库版本一样的驱动文件jar),只有点击test显示数据库连接成功才算完成。

第三步:创建数据输入。Kettle支持两个数据库之间的数据转换,也支持Excel文件与数据库之间的数据转换。本次以Excel文件转换举例。注:必须是xls类型的文件。确认完成之前要点击预览能看到数据。步骤如下:1、创建Excel输入

2、添加Excel文件

3、选择工作表

4、选择内容

5、选择字段,确认完成。根据数据库目标表的字段类型选择。

第四步:创建表输出。创建目标数据库的连接,用于接收Excel传输的数据。具体步骤如下:

1、创建表输出

2、选择目标数据库与目标表

3、字段映射,点击确认。将Excel中的字段与目标表中的字段做一一映射。

4、任务关联。

5、运行并保存文件。完成转换任务创建,可以到目标数据库中查看数据情况。我下图红色部分提示错误,因为主键重复。

(二)创建转换作业流。一个作业,可以将关联性强的多个任务进行串联。下面我以营业执照的数据归集为例。

注:创建转换作业流之前,可以根据上面的步骤,创建几个相关联的任务。

第一步:新建空白作业

第二步:新建基本流程

第三步:关联任务。双击transformation,给job起名称,并选择创建的任务。一个作业可关联多个任务。

第四步:设置定时执行的时间,保存完成。定时任务的设置既可以用kettle本身的自带定时工具,也可以用操作系统的定时任务,操作系统设置bat文件。本次以kettle自带的定时工具为例。

好了,这次技术分享的内容就到这里。工作中如果需要用到这方面的同学可以试一试,真的是一款很强大的工具。后续我们会分享更多的技术与工具,欢迎大家来参与讨论。大家下期再见,让我们一起探索数据中台的奥秘,聚焦客户!找准痛点!助力转型。

扫码关注 探讨数据的奥秘

etl调度工具 ctm_技术篇之kettle工具介绍相关推荐

  1. ETL数据清洗Kettle工具

    文章目录 一.简介 二.资源库(新建.管理) 三.转换 1. 新建数据源 2. 简单的输入输出 配置步骤 2.1 配置表输入 2.2 配置表输出 2.3 保存 2.4 启动与执行结果 3. 转换 1. ...

  2. 【ETL】使用kettle工具将数据从oracle迁移到mysql

    [ETL]使用kettle工具将数据从oracle迁移到mysql 1 kettle安装及运行   kettle官网下载地址 ,下载完毕后大概有800多m  下载完毕后,直接解压,双击Spoon.ba ...

  3. 免费etl调度工具Taskctl-Web应用版功能框架及特性

    目录 初识Taskctl-Web版 功能框架 系统特性 登录界面 下载方式 安装环境准备 如何0元获取永久使用授权 初识Taskctl-Web版 Taskctl Free应用版原型是在原有商用版Tas ...

  4. ETL调度工具中美PK ( TASKCTL VS Control-M)

    美方:Control-M  ( www.bmc.com) 中方:TASKCTL  ( www.taskctl.com ) 毫无疑问,Control-M作为美方代表当之无愧, 因为该软件不仅是美国国内最 ...

  5. 数据抽取工具比对:Kettle、Datax、Sqoop、StreamSets

    数据抽取工具比对:Kettle.Datax.Sqoop.StreamSets 工具比对: Kettle 特性:纯Java编写 优点:可在Windows.linux.Unix上执行:数据抽取高效稳定:子 ...

  6. kettle工具的设计原则

    Kettle工具在设计初,就考虑到了一些设计原则.这些原则里借鉴了以前使用过的其他一些ETL工具积累下的经验和教训. 易于开发:作为数据仓库和ETL开发者,你只想把时间用在创建BI解决方案上.任何用于 ...

  7. Kettle工具使用及总结

    Kettle工具使用及总结 一.kettle安装及报错: kettle主要用于数据清洗,即常见ETL工具,拥有图形化界面且免费的优点.其下载包直接解压打开就能用,遇到的问题: 1.连接MySQL报错: ...

  8. kettle工具下载、安装、数据迁移、定时任务详解

    kettle工具下载.安装.数据迁移.定时任务详解 篇幅有点长,将这五个内容放在了一篇文章里,其中最主要的是数据迁移和定时任务 目录 目录 一.简单介绍 二.下载 三.安装 四.数据迁移:包括单表整体 ...

  9. Kettle工具入门

    Kettle工具入门 Kettle工具入门 Kettle是什么? 为什么要用Kettle? 怎么用Kettle? 下载运行 简单应用 表到表转换 json到表的操作 参考 Kettle是什么? Ket ...

最新文章

  1. centos开启防火墙指定端口
  2. keras终止训练后显存不释放_Keras实现Large-scale Bisample Learning on ID vs. Spot Face Recognition...
  3. ImportError: No module named sklearn.metrics
  4. layui内置loading等待加载
  5. Spring Cloud构建微服务架构:服务容错保护(Hystrix断路器)【Dalston版】
  6. 很实用的21个SQL小技巧!
  7. 科普!程序员分不清万圣节和圣诞节?
  8. 树莓派 zero cpu:elpida b4432bbpa-1d
  9. 泰语翻译软件隐私政策
  10. Win7系统如何安装声卡驱动
  11. ecshop常见漏洞
  12. 力扣刷题篇——摩尔投票算法
  13. js实现农历时间代码
  14. YOLOX 论文笔记
  15. BZOJ 3240 [Noi2013] 矩阵游戏 题解
  16. 一个新进前端小白实习僧的初次探索
  17. WIN 7 系统 问题记录
  18. 苹果手机话筒声音小怎么办_苹果8通话声音小,苹果8听筒声音小怎么办
  19. 【Python】 -- from module import * 、from module import function 与 import module
  20. java的四种访问权限_Java四种访问权限

热门文章

  1. 常用函数式接口:Consumer、Predicate、Function的方法说明解练习
  2. mybatis-plus:向MySQL数据库写入二进制大数据
  3. source insight php-styles.cf3,【转】SourceInsight 中集成Artistic Style 格式化代码
  4. 斯诺登质疑 WikiLeaks 发布泄密材料的方法
  5. Laravel核心解读 -- Response 1
  6. Python数据分析库pandas高级接口dt的使用
  7. 南宁有几家机器人餐厅_全年最火的三家餐厅!秘密竟是机器人服务员
  8. moto 如何解锁BL 以edge s pro为例,保姆级教程
  9. Redis io多线程
  10. std::move的实际工作过程