数据对接—kettle使用之一
转载自：https://yq.aliyun.com/articles/38089?spm=a2c4e.11163080.searchblog.28.1a6a2ec1P1lHzh
需求：
你有没有遇到过不同数据库之间数据对接的需求，比如：mysql数据库里的数据要保存到oracle数据库里，或者是excel里的数据要保存到数据库里，或者是数据库的数据要定时的保存到文件中等等数据对接的问题。下面就开始介绍一款软件来帮助我们实现各种数据对接的问题，这将是一个系列的博客，这篇只是个开始，后面将陆续的通过实例来讲解软件如何使用，当然不可能面面俱到，很多功能还需要我们不断的挖掘和完善。
工具介绍：
说了这么多这个软件到底是什么呢？就是一个我们中文意思是水壶的英文单词kettle，当然它的原意不是这样的，它是“Kettle E.T.T.L. Envirnonment”只取首字母的缩写，这意味着它被设计用来帮助你实现你的ETTL需要：抽取、转换、装入和加载数据。Kettle也叫 PDI，在2006年 Kettle 加入了开源的 BI 组织 Pentaho, 正式命名为PDI，英文全称为Pentaho Data Integeration。这个工具也正如我们中文翻译为水壶那样，它希望把所有需要的数据放到一个水壶里，然后以流的方式流出来。
功能介绍：
kettle可以创建两种脚本文件，一种是transformation（*.ktr），就是任务，比如抽取数据，合并修改后再存入数据库什么的。 另一种是job（*.kjb），就是用来调用transformation的，类似oracle里的job调用存储过程。如下面的图分别是transformation脚本和job脚本。
上面两张图是两种脚本，通过第二种脚本调用第一种脚本我们可以配置定时任务，可以指定时间让系统自动执行数据抓取以及转换，是不是很强大的工具，不着急，后面才是真正的开始，看看它到底能有多大本事。
运行环境：
要运行kettle工具必须安装Sun公司的JAVA运行环境，kettle 4.2.0需要运行java 1.6或者更高版本，Kettle的下载可以到http://kettle.pentaho.org/取得最新版本。目前应该是到kettle 4.4.0版本了，kettle不需要安装，安装好java环境后，在操作系统环境变量path中配置jre路径，把kettle工具压缩包解压后可直接使用，由于它是重java编写，所以它可以跨平台使用。
如何启动：
Spoon是一个图形用户界面，它允许你运行转换或者任务，其中转换是用Pan工具来运行，任务是用Kitchen来运行。Pan是一个数据转换引擎，它可以执行很多功能，例如：从不同的数据源读取、操作和写入数据。Kitchen是一个可以运行利用XML或数据资源库描述的任务。通常任务是在规定的时间间隔内用批处理的模式自动运行。
下面是在不同的平台上运行Spoon所支持的脚本：
Spoon.bat：在windows 平台运行Spoon。
Spoon.sh：在 Linux、Apple OSX、Solaris 平台运行 Spoon。
这篇就介绍到这里，下一篇我们进入实例讲解…
数据对接—kettle使用之一相关推荐
- Android平台RTMP推送端实现外部数据对接推送和录像
背景 好多开发者在做Android平台RTMP推送对接的同时,除了编码前的数据外,还有些外部编码数据推送诉求,他们希望外部的编码音视频数据不止可以实现RTMP推送,还可以同时在推送端实时录制下来,本文 ...
- 揭秘一份集团公司的三方数据对接情况
关注 "番茄风控大数据",获取更多数据分析与风控大数据的实用干货. ------------------------------------------------------ ...
- 钉钉考勤接口调用与OA系统数据对接（多线程版）
钉钉考勤接口调用与OA系统数据对接(多线程版) 公司由原来的指纹打卡更换为钉钉打卡,需要钉钉和现有的OA考勤数据对接(合并钉钉打卡数据和OA上的请假,外出,出差数据),因为人数增减单线程定时任务数据抓 ...
- 从零开始学习3D可视化之数据对接（2）
在日常使用的互联网产品中,很多都是前后端数据的交互来完成的,说到数据交互就不得不提Ajax和WebSocket,它们可是数据交互的利器,那么它们分别是什么?Ajax上篇文章已经讲过了,那WebSock ...
- 如何快速实现西门子S7-200/300 PLC转Modbus-TCP协议与第三方数据对接
如何快速实现西门子S7-200/300 PLC转Modbus-TCP协议与第三方数据对接 引言 西门子 SIMATIC 自动化控制系统在工业控制市场应用相当广泛,凭借其安全可靠性.全集成产品线和优异的 ...
- 数据对接利用hutool工具类进行xml解析，xml转换成map,然后进行数据入库
数据对接xml解析 <ESBEntry><!--通过MB对请求进行权限验证,验证后将删除AccessControl节点 --><AccessControl>< ...
- 住建部发布《全国建筑工人管理服务信息平台数据对接方案》
今日,四川省住建厅发布了<关于进一步加强建筑工人实名制管理工作的通知>.重要信息如下: 01 今年10月,住房和城乡建设部发布<全国建筑工人管理服务信息平台数据对接方案>(V1 ...
- 仅需三步学会使用低代码ThingJS与森数据DIX数据对接
森数据DIX拥有强大的数据处理能力,内置主流集成插件,分钟级集成IT运维场景和IoT管理场景数据,提升效率.针对非主流系统,支持在线JS脚本编辑,提供灵活.规范的接口,满足低代码个性化需求,轻松实现物 ...
- 【项目】多部门数据对接
在做涉及到多家部门或需要多家合作的项目时,往往会涉及到数据对接,这里简单介绍下一些数据对接会议召开和内容项包括一些经验. 一.会前准备 数据对接函(文) 在进行对接前,让项目的业主给需要对接数据的对接 ...
最新文章
- 代码之谜（一）- 有限与无限
- PHP大文件上传问题
- 如何用 Blazor 实现 Ant Design 组件库？
- 【 .NET Core 3.0 】框架之二 || 后端项目搭建
- 如何使用Java 8流快速替换列表中的元素
- 信息学奥赛一本通（1022：整型与布尔型的转换）
- linux-mysql忘记密码解决办法-适用5.76
- 关于JVM中YGC的来龙去脉
- 《Linux命令行与shell脚本编程大全 第3版》Shell脚本编程基础---05
- java工具方法1（数组）
- string的一些基本操作和骚操作
- Windows IOCP模型与Linux EPOLL模块之比较-
- 遥感图像几何校正 matlab,利用多项式实现图像几何校正(Matlab实现)
- TestCenter测试管理工具功能详解十四（S）
- 阿里云视频上传到抖音服务器
- 塔望3W消费战略全案丨品类重新定义 打造金皇品高端速食第一面
- JPA使用（Querydsl）
- vector的 resize()和reserve()的区别
- ‘gbk‘ codec can‘t decode byte 0xa4 in position 4: illegal multibyte sequence
- PHP zend解密工具 PHP Zend-guard-decode