介绍

kettle 是纯 java 开发,开源的 ETL工具,用于数据库间的数据迁移 。可以在 Linux、windows、unix 中运行。有图形界面,也有命令脚本还可以二次开发。

kettle 的官网是 https://community.hitachivantara.com/docs/DOC-1009855,github 地址是 https://github.com/pentaho/pentaho-kettle。

安装

这边以 windows 下的配置为例,linux 下配置类似。

jdk 安装及配置环境变量

由于 kettle 是基于 java 的,因此需要安装 java 环境,并配置 JAVA_HOME 环境变量。

建议安装 JDK1.8 及以上,7.0以后版本的 kettle 不支持低版本 JDK。

下载 kettle

从 官网 下载 kettle ,解压到本地即可。

下载相应的数据库驱动

由于 kettle 需要连接数据库,因此需要下载对应的数据库驱动。

例如 MySQL 数据库需要下载 mysql-connector-java.jar,oracle 数据库需要下载 ojdbc.jar。下载完成后,将 jar 放入 kettle 解压后路径的 lib 文件夹中即可。

注意:本文基于 pdi-ce-7.0.0.0-25 版本进行介绍,低版本可能有区别。

启动

双击 Spoon.bat 就能启动 kettle 。

转换

转换包括一个或多个步骤,步骤之间通过跳(hop)来连接。跳定义了一个单向通道,允许数据从一个步骤流向另一个步骤。在Kettle中,数据的单位是行,数据流就是数据行从一个步骤到另一个步骤的移动。

  1. 打开 kettle,点击 文件->新建->转换。

  2. 在左边 DB 连接处点击新建。

  3. 根据提示配置数据库,配置完成后可以点击测试进行验证,这边以 MySQL 为例。

  4. 在左侧找到表输入(核心对象->输入->表输入),拖到右方。

  5. 双击右侧表输入,进行配置,选择数据源,并输入 SQL。可以点击预览进行预览数据。

  6. 在左侧找到插入/更新(核心对象->输出->插入/更新),拖到右方。

  7. 按住 Shift 键,把表输入和插入/更新用线连接起来。

  8. 双击插入/更新进行配置。

  9. 点击运行,就可以运行这一个转换。

  10. 运行结束后,我们可以在下方看到运行结果,其中有日志,数据预览等,我们可以看到一共读取了多少条数据,插入更新了多少数据等等。

这样就完成了一个最简单的转换,从一个表取数据,插入更新到另一个表。

作业

如果想要定时运行这个转换,那么就要用到作业。

  1. 新建一个作业。

  2. 从左侧依次拖动 START 、转换、成功到右侧,并用线连接起来。

  3. 双击 START,可以配置作业的运行间隔,这边配置了每小时运行一次。

  4. 双击转换,选择之前新建的那个转换。

  5. 点击运行,就能运行这次作业,点击停止就能停止。在下方执行结果,可以看到运行的日志。

这样就完成了一个最简单的作业,每隔1小时,将源表的数据迁移到目标表。

总结

kettle 是一个非常强大的 ETL 工具,通过图形化界面的配置,可以实现数据迁移,并不用开发代码。

通过它的作业,kettle 能自动地运行转换。

kettle 教程(一):简介及入门相关推荐

  1. Android Studio教程 简介与入门(资料比较旧,但有一定参考价值)

    AS简介 经过2年时间的研发,Google终于正式发布了面向Android开发者的集成开发环境Android Studio 1.2(稳定版).Android Studio是Google开发的一款面向A ...

  2. Py之GUI之PyQt:PyQt5的简介、入门、安装(QtCreator和QtDesigner)图文教程之详细攻略

    Py之GUI之PyQt:PyQt5的简介.入门.安装(QtCreator和QtDesigner)图文教程之详细攻略 目录 PyQt的简介 1.Qt特点 2.QT中QT Widgets Applicat ...

  3. android 教程概要,Android精通教程-第一节Android入门简介

    前言 大家好,我是 Vic,今天给大家带来Android精通教程-第一节Android入门简介的概述,希望你们喜欢 每日一句 If life were predictable it would cea ...

  4. [R语言] ggplot2入门笔记2—通用教程ggplot2简介

    文章目录 通用教程简介(Introduction To ggplot2) 2 ggplot2入门笔记2-通用教程ggplot2简介 1. 了解ggplot语法(Understanding the gg ...

  5. Git教程_1 简介

    https://gitee.com/fakerlove/git 文章目录 git 教程 1. 简介 1.1 介绍 1.2 环境准备 1.3 安装 1. 设置 用户名和密码: 2. 然后看本地目录是否有 ...

  6. QIIME 2教程. 01简介和安装 Introduction Install(2020.11)

    文章目录 写在前面 QIIME 2的优势 QIIME 2用户文档(版本:2020.11) 视频:QIIME 2用户文档01.1 简介 入门指南 什么是QIIME 2? 核心概念 数据文件: QIIME ...

  7. Python自动化开发【1】:Python简介和入门

    Python自动化开发之路 [第1篇]:Python简介和入门 编程与编程语言 一 编程与编程语言python是一门编程语言,作为学习python的开始,需要事先搞明白:编程的目的是什么?什么是编程语 ...

  8. 【ENVI入门系列】01.ENVI产品简介与入门

    [ENVI入门系列]01.ENVI产品简介与入门 (2014-09-22 10:18:21) 转载▼ 标签: 杂谈 分类: ENVI 版权声明:本教程涉及到的数据仅供练习使用,禁止用于商业用途. 目录 ...

  9. [Vue]学习笔记目录 【Vue2与Vue3完结】 (尚硅谷Vue2.0+Vue3.0全套教程丨vuejs从入门到精通)

    文章目录 前言 遇见的问题及其解决方案 之前笔记 Vue2 Vue3 前言 本笔记根据如下笔记和视频进行整理 老师的课件笔记,不含视频 https://www.aliyundrive.com/s/B8 ...

  10. 《SEO教程:搜索引擎优化入门与进阶(第3版)》

    <SEO教程:搜索引擎优化入门与进阶(第3版)> 基本信息 作者: 吴泽欣 丛书名: 图灵原创 出版社:人民邮电出版社 ISBN:9787115357014 上架时间:2014-7-1 出 ...

最新文章

  1. 用numpy做图像处理
  2. 张亚勤:让人工智能像空气一样,无处不在
  3. Spring 4 + Reactor Integration Example--转
  4. 新来的“大神”用策略模式把if else给“优化”了,技术总监说:能不能想好了再改?
  5. 【译】SQL Server误区30日谈-Day8-有关对索引进行在线操作的误区
  6. linux 基础知识及命令总结
  7. C++和Objective-C混编(官方文档翻译)
  8. php弹幕技术轮询,PHP实现长轮询消息实时推送功能代码
  9. 错误记录:自己创建activity时不能进行真机usb安装调试
  10. 删除隐藏版本信息 版本回退_Visual Studio Code 2019 August版本发布,新功能尝鲜
  11. paintevent参数_Qt学习: QPaintEvent和QMouseEvent的简单程序示例
  12. 杨辉三角 Python(利用嵌套列表)
  13. viper12a电源电路图_基于VIPER12A芯片设计的开关电源
  14. 大屏可视化Axure效果图数据管理后台设计PSD样图HTML静态模板(共5771份,27.8G,附件中为网盘链接)
  15. 软考计算机硬件知识,软考程序员考点计算机硬件基础知识之存储器简介
  16. linux 执行程序时,提示not found问题分析
  17. 《深度思维》读书笔记
  18. unity实用技能,控制renderQueue解决NGUI与Unity3D物体渲染顺序问题
  19. JPEG/Exif/TIFF格式解读(1):JEPG图片压缩与存储原理分析
  20. sqlite3, IntegrityError: UNIQUE constraint failed when inserting a value

热门文章

  1. jrtplib linux编译,jrtplib+jthread 交叉编译
  2. IDEA统计项目代码量
  3. matlab help函数用法,MATLAB函数用法
  4. 单片机c语言论文,基于51单片机的C语言程序设计论文.doc
  5. php自动填表单,网页自动填表基础教程从简单开始
  6. ipad+mysql+客户端_MySQL QueryDB Client
  7. 计算机flash逐渐淡入,Flash air制作淡入淡出窗体动画效果
  8. 抖音上非常火的整人小程序
  9. cutftp连接server-U中文乱码问题解决
  10. 安徽理工大学计算机科学工程学院,安徽理工大学计算机科学与工程学院文件(3页)-原创力文档...