kettle的下载|运行及简单kettle数据抽取(MAC kettle|windows Kettle)
记录一次mac的kettle的下载、运行和简单的demo测试吧,使用机器为MAC,除了运行和windows不太一样,其他都大同小异。
基础配置JKD的下载、安装和配置就不讲了。
kettle官网的下载地址:
https://sourceforge.net/projects/pentaho/files/Data%20Integration/
无脑选择第一个最新版本的文件夹,点进去:
选择zip包 下载
下载完成解压,生成data-integration文件夹,里面就有我们要运行的kettle的spoon.sh启动文件,spoon.sh是MAC要运行的,spoon.bat是windows要运行的。
先不忙启动,再去下载你需要用kettle的数据库jar,我整理了一份常用数据库的jar,链接如下:
https://download.csdn.net/download/j837933766/21846053?spm=1001.2014.3001.5503
大家也可以自己去搜索下载,需要mysql的就下载mysql的,oracle的就oracle的
下载好数据库支持jar包后,把jar包拷贝到我们刚下载的kettle的data-integration文件夹下的lib里面
好了,然后我们启动kettle,MAC执行启动 spoon.sh文件(直接在data-integration文件夹下面打开终端,把spoon.sh拖进终端回车就好了)windows是启动spoon.bat文件
终端启动完毕后,就会弹出kettle的客户端了
可以看到界面上有两个主选项卡,一个主对象数,一个核心对象。
庄家建议此时自己先点点看,玩玩看,先熟悉一下整个kettle工具的菜单。
我们直接在【主对象树】中找到【DB连接】的选项卡,右击新建
我用的是mysql进行测试,连接类型选择mysql,下面连接方式选择Native(JDBC)然后输入数据库连接信息,测试通过,直接确认。
我这边建了两个mysql的库,一个输入库,一个输出库,方便测试,输入库用来查表数据库,再把输入库的数据通过kettle抽取到输出库的具体表中:
如果一开始在DB这里添加库,算是添加的公共库,这时候一定右键把添加的库共享,不然创建转换时,找不到这个库的
共享后,新建库的颜色会加深。
当然你也可以在新建转换的时候在添加库,这时候你所添加的库只有这个转换文件才有。
再给大家看一下这两个库的我要操作其中两个表的数据格式:
(数据表A)
(要抽取数据表A的表B)
好,我们新建转换(开始抽数据的第一步),点击文件->新建->转换
这时候大家如果不出意料的话会出现这个界面,
我要利用kettle,把库的表A的数据,抽取的另一个库表B中。
找到这个界面下的【核心对象】选项卡的【输入】在找到【表输入】鼠标左键点住,直接拖到右侧界面,也可在最上面步骤中直接搜【表输入】
直接双击打开这个表输入小菜单,
选择刚才我提前定义好的DB数据源,你也可以在这个界面直接新建DB数据源。
然后点击【获取SQL查询语句】
选择这个数据源的一个表
确定后可能会提醒你如下图:
选否,就会生成针对这个表select * 的sql语句,选是,就生成select 具体列名的sql语句,我选是
当然,也可以自己写sql取自己需要的数据列,复杂sql也可。
这时候你可以点击下面预览看一下这条sql的输出。
然后确定。
要抽取的数据已经查出来了,这时候我们下一步是干什么,是输出,怎么输出呢,在回到【核心对象】选项卡,看下,咦,有个【输出】的选项卡,点开,下面有个【插入/更新】选项,我觉得这就是我要的,在把它拖到界面上,这时候,需要把【表输入】和【插入/更新】连上线,也就是关联起来,不然它也不知道要干什么。按住shift键,从【表输入】开始,从左到右经过【插入/更新】,连线效果:
这时候在双击打开【插入/更新】
选择【数据库连接】的DB数据源,
选择目标表,
配置相应的查询和需要更新的字段匹配(我故意把student_id的数据给了csc字段,如果这时候两个表字段数据格式不一致应该怎么办呢?一个是varchar一个是int,大家自己试下吧,我就不演示了)
直接确定。
到主页面,点击运行按钮:
弹出界面,点击启动
控制台输出:
成功了,去库里看看:
成功插入进来了。
这只是简单的安装、运行和小demo的测试,如果小场景测试成功了,在多自己玩玩,点点看,选不同的小菜单连连线,看一看。
kettle的下载|运行及简单kettle数据抽取(MAC kettle|windows Kettle)相关推荐
- EasyPoi的excel模板预览与下载、导出简单/复杂数据
官方文档地址:easypoi官网,官方仅供参考,部分描述有问题 excel模板预览 准备工作 事先将整理好的excel模板存在项目中,如图 excel模板预览代码 @GetMapping(" ...
- kettle详解(数据抽取、转换、装载)
一:下载路径 当你要学习一个工具时,往往一开始就找不到下载路径,也不知道是为什么,连个官网都找不到,最后还是问的别人要的路径,做程序好心酸. http://community.pentaho.com/ ...
- 数据清洗基础—Kettle 数据转换与清洗、数据抽取操作
实验一:数据清洗基础-Kettle 数据转换与清洗.数据抽取操作 1 实验题目:Kettle 数据转换与清洗.数据抽取操作 2实验目和要求 2.1熟悉 Kettle 的开发环境,并掌握 Kettle ...
- 《Kettle构建Hadoop ETL系统实践》大数据ETL开发工具选择Kettle的理由
ETL一词是Extract.Transform.Load三个英文单词的首字母缩写,中文意为抽取.转换.装载.ETL是建立数据仓库最重要的处理过程,也是最能体现工作量的环节,一般会占到整个数据仓库项目工 ...
- kettle工具下载、安装、数据迁移、定时任务详解
kettle工具下载.安装.数据迁移.定时任务详解 篇幅有点长,将这五个内容放在了一篇文章里,其中最主要的是数据迁移和定时任务 目录 目录 一.简单介绍 二.下载 三.安装 四.数据迁移:包括单表整体 ...
- Kettle实现数据抽取转换和装载工具运行及源代码编译
Kettle标榜的就是绿色运行无安装,不过有些环境运行起来很麻烦,这里有一些相关的总结,希望可以帮助到使用Kettle十分崩溃的初学者,当然我也是其中之一.Kettle在Win7下有问题,建议直接重装 ...
- Kettle之数据抽取、转换、装载
Kettle 官网 ETL利器Kettle实战应用解析系列 利用kettle组件导入excel文件到数据库 kettle中实现动态SQL查询 java中调用kettle转换文件 kettle 7.x版 ...
- 数据抽取工具比对:Kettle、Datax、Sqoop、StreamSets
数据抽取工具比对:Kettle.Datax.Sqoop.StreamSets 工具比对: Kettle 特性:纯Java编写 优点:可在Windows.linux.Unix上执行:数据抽取高效稳定:子 ...
- ETL工具Kettle的下载和使用
Kettle 是什么 Kettle最早是一个开源.免费的ETL工具.在2006年,Pentaho公司收购了Kettle项目,从此,Kettle成为企业级数据集成及商业智能套件Pentaho的主要组成部 ...
- job kettle 导出_kettle从hive2导出数据正常,但是用kettle manager启动就报错
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼 kettle连接hive2,并导出hive2数据,在kettle运行正常,但是用kettle manager启动job就报错: 2017/03/31 14 ...
最新文章
- android window 大小,android popupWindow 中宽度莫名很大,求帮助?
- python试题for循环布尔值_Python自我修炼(升仙中....整数,布尔值,字符串,for循环)
- 全民K歌直播推荐算法实践
- 关于更清楚地了解.net的垃圾回收机制
- SanFeng-Clound
- 腾讯云副总裁邹贤能:将陆续开源四大核心技术
- Ubuntu 16.04 搭建Android开发环境
- 【数据库实验】《小型MIS的开发》PyQt5 开发 民航票务管理系统
- python字符串前面加u,r,b的含义
- vs2008 jquery 智能提示
- 中国人工智能学会通讯——人工智能在各医学亚专科的发展现状及趋势 1.6 结束语...
- PN512使用的一些小技巧
- 微信小程序服务通知 模板消息
- 异常与调试之SEH、UEH、VEH、VCH以及SEH原理
- (Java实习生)每日10道面试题打卡——JavaWeb篇
- 通过excel生成不同dimens文件来实现安卓屏幕适配
- 精确度,召回率,真阳性,假阳性
- 两个时间序列之间的DTW(Dynamic Time Warping)距离度量
- 基于Java的Android区块链开发之生成助记词(位数可选)
- 基于kettle的数据集成平台(三)