ETL转换工具 kettle——spoon 安装 使用
一、 kettle--spoon的安装
kettle安装官网https://sourceforge.net/projects/pentaho/files/Data%20Integration/
下载完解压就好。然后按以下步骤使用即可。
二、使用
1、启动
进入安装路径/data-integration下双击Spoon.bat，即可进入spoon的主页面
2、配置数据库连接
这里配置Oracle数据库。有注释的必填，这样将需要用到的数据库连接好 后续使用的时候就可以直接选择了（当然也可以后续需要再编辑）
一般填写完 要测试一下 如果测试不通过的话 一般都是对应信息没填对 或者 会提示Oracle驱动没有检测到 这个就需要下载对应的驱动放到对应的文件夹底下了
3、一个简单的数据抽取（将一个表的数据抽取到另一个表内）
文件--》新建--》转换
创建完之后 点击核心对象 选择输入—表输入 ；输出--插入/更新 （都是点击 拖过去右边空白页即可）
双击表插入：编辑SQL语句（决定了你要查询出流里面的字段） 数据库连接选择查询对应的数据库
确定之后，将表输入连接到插入/更新 （相当于将查询出来的数据流向右流给插入/更新操作选择对应的数据流）
点击表输入然后点击红框（表示向右连接）并拉过来连接插入/更新
双击插入/更新 编辑 选择要插入数据的数据库连接 和对应的表
关键字比较（要插入的目标表字段和流里的字段就是表输入查询出来的字段 ） 相等的话就更新、不相等就插入（相当于 根据这个字段比较 如果表内已存在该数据 就更新 不存在则更新）
更新字段（就是 比较之后更新操作的话 要更新的字段 Y更新 N不更新）
最后 点击执行 显示这样即表示成功 (转换完成之后 可以去插入的数据表查验).
4、一次性全量插入
使用表输出
点击数据库字段匹配目标表字段和流字段
（如果是工作过程中 添加某字段映射的话 可以直接在插入字段里 手动添加即可）
5、定时调度转换
定时调度只能在流流程里面设置 创建一个多个转换流程也是这样操作。
所以 新建一个作业：并在通用里面拖过来一个start和转换（并连线）
双击转换 编辑转换 选中已做好的转换要做定时任务的转换
双击start 可视化编辑是否需要定时 定时周期为多少
设置完之后点确定 我的电脑屏幕小 自动只显示这个框 没有确定按钮 最后发现是需要拉大这个框框的
这样 一个定时任务就完成啦 ！！！（定时任务设置完后也是要点击执行才可以开启任务的）
如果设置成不需要定时，且连接多个转换 这样就相当于一个没有定时的流程啦 需要手动执行。
6、使用全量输入 实现多次执行不会插入重复数据
（所以只能在在表输入表输出的最前面先清空将要插入的目标表）
所以我添加一个执行sq脚本
但是要注意的是：连接之后 双击表输入（连接 会自动识别的前一步骤）
7、在kettle里面做一个错误处理：
点击错误处理连接线 编辑 错误描述列名（写自己创建的错误日志表中的错误描述的属性） 这样插入更新失败的时候 就会将错误信息也传送到插入/更新2步骤中，最后根据插入/更新2步骤中设定插入到目标表
8、自动生成一个id时：
第一个表输入
第二个表输入 框出来的都是需要加上的（‘OK’=？是自带的一个判断 从前面传过来要加上）
第一步查询出来的字段 会替换掉第二步的 ？
(‘OK’=？不能直接接在where后面 所以在没有其他的条件约束的话 就加一个1=1 如上图所上 一般是 AND ‘OK’=？ )
ETL转换工具 kettle——spoon 安装 使用相关推荐
- ETL第一篇(Kettle Spoon) 初遇
ETL第一篇(Kettle Spoon) 初遇 ETL第二篇 调用webservice 简介 Kettle 是一款国外开源的 ETL 工具,纯 Java 编写,绿色无需安装,数据抽取高效稳定(数据迁移 ...
- MRT转换工具下载与安装以及使用
MRT转换工具下载与安装 链接:https://blog.csdn.net/gisboygogogo/article/details/75784080 MRT(MODIS Reprojection T ...
- ETL工具kettle spoon使用说明
实验一:表到表的数据转换 实验目的: 将SQLServer数据库中user表的数据传输到Oracle数据库中TABLE_USER表中,当发现重复数据时,先删除旧数据,再插入新数据.传输过程中无任何数据 ...
- kettle Spoon 的简单使用
Spoon分享 Kettle Spoon简介 ETL(Extract-Transform-Load的缩写,即数据抽取.转换.装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁 ...
- 脑影像分析工具保姆级安装教程——VMware Workstation16.1.2中安装FSL6.0.3/FSL6.0.4、MRtrix3、MRIcron并修复fsleyes not found
| 图源 之前写过三篇关于FSL安装的文章,包括简易安装.docker下完整安装,Linux下完整安装,这篇在VMware Workstation16.1.2中安装,算是之前的各种安装方法的一个集 ...
- ETL工具Kettle简介和安装配置基本使用
什么是Kettle Kettle是一款国外开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行,绿色无需安装,数据抽取高效稳定. Kettle 中文名称叫水壶,该项目的主程 ...
- 四十二、ETL工具Kettle的转换步骤
1. ETL工具Kettle的转换步骤 1.1 Kettle转换步骤的具体内容: 字符串处理 字符串的拆分 字符串的替换 行列变换 其他转换步骤 闭合距离 XSL转换 数值范围 2 字符串的处理 2. ...
- 可视化ETL工具Kettle概念、安装及实战案例
文章目录 一.数据仓库与ETL 1.数据仓库 2.ETL 3.Kettle 二.Kettle安装启动 三.Kettle使用 1.转换 2.作业 四.实战案例 1.需求 2.分析 3.实现 一.数据仓库 ...
- 免费开源ETL工具KETTLE
1.ETL概念 ETL:Extract-Transform-Load的缩写,即数据抽取.转换.装载的过程.ETL一词较常用在数据仓库,但其对象并不限于数据仓库. ETL是构建数据仓库的重要一环,用户从 ...
- kettle工具下载、安装、数据迁移、定时任务详解
kettle工具下载.安装.数据迁移.定时任务详解 篇幅有点长,将这五个内容放在了一篇文章里,其中最主要的是数据迁移和定时任务 目录 目录 一.简单介绍 二.下载 三.安装 四.数据迁移:包括单表整体 ...
最新文章
- linux 调用redis cli,使用redis-cli定时执行指定命令
- linux 内核链表遍历宏 list_for_each_entry list_for_each_entry_safe
- redis出现过多command 慢查询slowlog出现command命令
- 信息学奥赛一本通 1060：均值 | OpenJudge NOI 1.5 03
- mysql数据库常见问题_初学者必读 MySQL数据库常见问题汇总
- 通过二进制方式_部署node节点_安装kubelet和kube-proxy---K8S_Google工作笔记0014
- 如何快速搭建yum源和成功检测第三方软件
- Web渗/透/攻/击实战（1）—成功渗/透台湾某净化设备公司官网
- Linux查看线程的方法小结
- Appfuse实践(一)——配置安装 转自http://www.donews.net/skyhero/archive/2004/12/17/205662.aspx...
- [ 后缀数组 ] [ SDOI2008 ] BZOJ4698 Sandy的卡片
- 关于微信公众号开发中扫码关注和关注之后继续扫码的不同点
- [LeetCode]506. Relative Ranks
- AndroidStudio中Files under the “build“ folder are generated and should not be edited的解决方法
- Windows 10 C:/Users/用户名/AppData里面的文件选择性清空
- SQL Server 2012笔记分享-35：配置客户端网络协议
- 消防气体灭火系统(二)
- 分享一个我大学时通过写代码，十天赚了两万块钱的经历！
- 2019全年营收净利润双超预期 微盟开启“飞轮模式”
- 云计算运维工程师前景怎么样？