kettle(ETL)的简单使用

最近刚接手一个新项目,接触了一个叫kettle的工具,这玩意可以用在数据同步,数据清洗,跨数据源等问题,而且不需要写代码,简单易懂。
以下来源百度百科:
Kettle是一款国外开源的ETL工具,纯java编写,可以在Windows、Linux、Unix上运行,数据抽取高效稳定。

工具

首先用到Spoon工具,这个工具可以图形界面化的操作。简单易懂。
Spoon可以新建转换、作业两种文件。

1.转换

主要的业务逻辑就是在转换里完成的,比如数据的清洗,数据的同步,输出文件等。
新建一个转换,可以在核心对象里找需要萃取的数据来源,比如表、Excel文件、Json等都在【输入】文件夹里,直接把图标拉倒右边空白处即可

比如我这边拉了一个表输入
然后双击表输入显示以下窗口

先编辑步骤名称比如[数据源A的表输入],然后新建数据源,填好对应的数据源名称,数据源对应的信息

其中 fenrun.db.url 的参数需要在kettle的配置文件写好,如下图


然后可以在转换目录里选择 列转行,列拆分,字段选择等,最后再输出目录里选择对应的输出。
最后把需要清洗的sql写好
以下是几个小例子
1.

这个转换是把数据源A的用户表

将内容输出到测试表中t_test


看看执行结果
因为我上面字段选择只选择了三个字段,所以我这边也只有三个字段

当然也可以输出其他形式的:

只是每次输出,spoon只会选择其中一条输出,所以咱可以串成一条线就可以了

2.作业

一个作业中可以包含多个转换,

上面的意思是,从start开始执行,先执行转换1,转换1执行完才能执行转换2(这样可以控制先后顺序,对于一些需要先后顺序的任务来说就可以很好的控制),转换2执行成功,则执行shell1,执行失败则执行shell2。
其中,锁、绿色√、红色×标志可以直接点那些标志来更换。

一个极为简单的介绍,需要深入了解的可以联系我。

kettle的图形工具(Spoon)简单介绍相关推荐

  1. 多通道振弦传感器无线采集仪参数配置工具SETP简单介绍

    多通道振弦传感器无线采集仪参数配置工具SETP简单介绍 VS208/416/432 是以振弦.温度传感信号为主的多通道无线采集仪,并可扩展其它 模拟(电流.电压.电阻)信号和数字信号(RS485.RS ...

  2. 五个在线图形工具创建简单的设计元素

    有很多网站可以为图形元素生成提供服务,但获得非常好的工具并不容易.这就是为什么我共享五个在线的图形工具的原因 Logotype Maker 这是一个简单而自由的做标志的Web工具,它可以帮助您创建一个 ...

  3. Postman工具的简单介绍

    Postman工具简单介绍 前言 一.侧边栏 二.工具栏 三.构建器 四.控制台 五.菜单栏 六.状态栏 七.选项卡和窗口 八.键盘快捷键 九.数据编辑器 十.支持多行 前言 Postman提供了一种 ...

  4. 如何写好测试用例以及go单元测试工具testify简单介绍

    背景 ​ 最近在工作和业余开源贡献中,和单元测试接触的比较频繁.但是在这两个场景之下写出来的单元测试貌似不太一样,即便是同一个代码场景,今天写出来的单元测试和昨天写的也不是很一样,我感受到了对于单元测 ...

  5. java 测试工具 oracle_几种测试工具的简单介绍

    负载测试(Load Test):负载测试是一种性能测试,指数据在超负荷环境中运行,程序是否能够承担. 二.WinRunner WinRunner 是一种企业级的功能测试工具,用于检验企业应用程序是否能 ...

  6. otrs软件_开源ITIL管理工具OTRS简单介绍

    OTRS的名字是由Open-source Ticket Request System首字母縮略字而来,是一个开源的缺陷跟踪管理系统软件.OTRS将电话,邮件等各种渠道提交进来的服务请求归类为不同的队列 ...

  7. 安卓手机自动化一些工具的简单介绍

    工具1Monkey: 工具介绍:Monkey是一个程序,运行在您的模拟器或设备上,并生成伪随机的用户事件流,如点击,触摸或手势,以及一些系统级事件. 您可以使用Monkey以随机但可重复的方式对您正在 ...

  8. IOS手机自动化一些工具的简单介绍

    工具1XCTest     XCTest是苹果在iOS 7和Xcode5引入的一个简单而强大的测试框架,它的测试编写起来非常简单,并且遵循xUnit风格.XCTest的优点是与Xcode深度集成,有专 ...

  9. Linux系统自带日志管理工具rsyslog简单介绍

    1,可以已查看本机的rsyslog服务状态 sudo systemctl status rsyslog 2,可以查看服务的包的版本及配置所在目录 2.1,可以看出这个 /etc/logrotate.d ...

  10. 大数据离线分析工具Hive简单介绍

    Hive是Facebook为了解决海量日志数据的分析而开发的,后来开源给了Apache软件基金会,可见Apache软件基金会是个神奇的组织,我们之前学过的很多开源工具都有Apache软件基金会的身影. ...

最新文章

  1. HDU 5226 Tom and matrix(组合数学+Lucas定理)
  2. pcm 8k单声道和双声道采样_音频接口PCM
  3. 2021奢侈品营销启示录
  4. linux 日志定时轮询流程详解(logrotate)
  5. 消息称荣耀7月发布年度旗舰 或用上旗舰级芯片骁龙 888
  6. 商业大亨微信草花服务器,商业大亨2每日答题和服务器进度奖励
  7. hdu 1133 Buy the Ticket(递推+精度精算)
  8. struts教程笔记6
  9. linux下rpm包安装jdk,linux jdk rpm包安装
  10. 自定义View之HenCoder学习笔记
  11. 苦涩又难理解的IO<1>
  12. Geforce Experience无法登录的解决方法
  13. 计算机双机对连局域网,图解双机/多机无线互联技巧_局域网教程
  14. 4个漂亮的wordpress企业主题
  15. 举个栗子~Tableau 技巧(220):使用「集」实现不同分析维度图表的数据联动
  16. Flink二:IngestionTime与ProcessingTime
  17. 亚马逊中国公布2020年第一季度付费电子书畅销榜名单
  18. 郑州灵活用工平台开发怎么选择模式?
  19. 六十六条经典禅语名句
  20. 【学怵研究】计算机视觉CV方向的研究生第一篇论文该怎么写(水)?

热门文章

  1. 零基础转行到IT,怎么选择适合的职业?
  2. JavaWeb静态网页
  3. 爱荷华大学计算机科学专业,爱荷华大学计算机科学本科爱荷华大学计算机科学本科.pdf...
  4. TypeScript学习
  5. spss并行配置不正确解决方案
  6. Win10 如何关闭烦人的任务栏广告,驱动人生广告,2345广告
  7. 第三方应用在通话过程中调用setspeakerphoneon没有用_从0到1打造一个 WebRTC 应用
  8. wordpress 数据库_如何一键优化您的WordPress数据库
  9. python统计一个字符串中连在一起数字的个数.(如12asd25asfd,输出结果为2)
  10. DOS下常用网络命令技巧