ETL常用的三种工具介绍及对比 Datastage,Informatica 和 Kettle
大家好,我是梦想家 Alex ~
ETL是数据仓库中的非常重要的一环,是承前启后的必要的一步。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础 。
今天给大家介绍一下什么是ETL以及ETL常用的三种工具——Datastage,Informatica,Kettle 。
通俗的说法就是从数据源抽取数据出来,进行清洗加工转换,然后加载到定义好的数据仓库模型中去。目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据 。
ETL是BI项目重要的一个环节,其设计的好坏影响生成数据的质量,直接关系到BI项目的成败。
二、为什么要用ETL工具?
在数据处理的时候,我们有时会遇到这些问题:
当数据来自不同的物理主机,这时候如使用SQL语句去处理的话,就显得比较吃力且开销也更大。
数据来源可以是各种不同的数据库或者文件,这时候需要先把他们整理成统一的格式后才可以进行数据的处理,这一过程用代码实现显然有些麻烦。
在数据库中我们当然可以使用存储过程去处理数据,但是处理海量数据的时候存储过程显然比较吃力,而且会占用较多数据库的资源,这可能会导致数据资源不足,进而影响数据库的性能。
而上述遇到的问题,我们用ETL工具就可以解决。ETL工具具有以下几点优势:
- 支持多种异构数据源的连接。
- 图形化的界面操作十分方便。
- 处理海量数据速度快、流程更清晰等。
三、ETL工具介绍
1、Datastage
IBM公司的商业软件,最专业的ETL工具,但同时价格不菲,适合大规模的ETL应用。
使用难度:★★★★
2、Informatica
商业软件,相当专业的ETL工具。价格上比Datastage便宜一点,也适合大规模的ETL应用。
使用难度:★★
3、Kettle
免费,最著名的开源产品,是用纯java编写的ETL工具,只需要JVM环境即可部署,可跨平台,扩展性好。
使用难度:★★
四、三种 ETL 工具的对比
Datastage、Informatica、Kettle三个ETL工具的特点和差异介绍:
1、操作
这三种ETL工具都是属于比较简单易用的,主要看开发人员对于工具的熟练程度 。
Informatica有四个开发管理组件,开发的时候我们需要打开其中三个进行开发,Informatica没有ctrl+z的功能,如果对job作了改变之后,想要撤销,返回到改变前是不可能的。相比Kettle跟Datastage在测试调试的时候不太方便。Datastage全部的操作在同一个界面中,不用切换界面,能够看到数据的来源,整个job的情况,在找bug的时候会比Informatica方便。
Kettle介于两者之间。
2、部署
Kettle只需要JVM环境,Informatica需要服务器和客户端安装,而Datastage的部署比较耗费时间,有一点难度 。
3、数据处理的速度
大数据量下Informatica与Datastage的处理速度是比较快的,比较稳定。Kettle的处理速度相比之下稍慢。
4、服务
Informatica与Datastage有很好的商业化的技术支持,而Kettle则没有。商业软件的售后服务上会比免费的开源软件好很多。
5、风险
风险与成本成反比,也与技术能力成正比。
6、扩展
Kettle的扩展性无疑是最好,因为是开源代码,可以自己开发拓展它的功能,而Informatica和Datastage由于是商业软件,基本上没有。
7、Job的监控
三者都有监控和日志工具。
在数据的监控上,个人觉得Datastage的实时监控做的更加好,可以直观看到数据抽取的情况,运行到哪一个控件上。这对于调优来说,我们可以更快的定位到处理速度太慢的控件并进行处理,而informatica也有相应的功能,但是并不直观,需要通过两个界面的对比才可以定位到处理速度缓慢的控件。有时候还需要通过一些方法去查找。
8、网上的技术文档
Datastage < Informatica < kettle,相对来说,Datastage跟Informatica在遇到问题去网上找到解决方法的概率比较低,kettle则比较多。
ETL常用的三种工具介绍及对比 Datastage,Informatica 和 Kettle相关推荐
- ETL常用的三种工具介绍及对比Datastage,Informatica
ETL是数据仓库中的非常重要的一环,是承前启后的必要的一步.ETL负责将分布的.异构数据源中的数据如关系数据.平面数据文件等抽取到临时中间层后进行清洗.转换.集成,最后加载到数据仓库或数据集市中,成为 ...
- etl常用的三种工具介绍_Adobe Photoshop常用修图插件+屏幕模式+内容感知移动工具介绍...
PS教学第27期 第一篇 1.5 Photoshop的三种屏幕模式 [Ps教程] 1. 本节课将为您演示,系统的三种屏幕显示模式.首先依次点击[文件 > 打开]命令,打开一张示例图片. imag ...
- 前端常用60余种工具方法(上)
1.邮箱 export const isEmail = (s) => {return /^([a-zA-Z0-9_-])+@([a-zA-Z0-9_-])+((.[a-zA-Z0-9_-]{2, ...
- STM32芯片烧录的三种方式介绍,串口、STM32 ST-LINK Utility以及STM32CubeProgrammer
STM32芯片烧录的三种方式介绍,串口.STM32 ST-LINK Utility以及STM32CubeProgrammer 1 概述 1.1资源概述 1.2 STM32串口烧录方式 2.KEIL软件 ...
- spring入门之Spring 常用的三种注入方式
Spring 常用的三种注入方式 Spring 通过 DI(依赖注入)实现 IOC(控制反转),常用的注入方式主要有三种:构造方法注入,set 方法注入,基于注解的注入. 一.通过构造方法注入 先简单 ...
- 手机怎么查看已经记住的WiFi密码?手机查看wifi密码三种方法介绍(图文)
有时候用过的wifi密码手机自动保存了,但在想知道wifi密码是多少,相信很多人都不记得了,或者在使用其他人的WiFi时,密码突然忘记了.怎么办呢?手机怎么查看已经记住的WiFi密码?下面脚本之家小编 ...
- 静电放电(ESD)最常用的三种模型及其防护设计
ESD:Electrostatic Discharge,即是静电放电,每个从事硬件设计和生产的工程师都必须掌握 ESD 的相关知识.为了定量表征 ESD 特性,一般将 ESD 转化成模型表达方式,ES ...
- vi和vim常用的三种模式
文章目录 1. vi 和 vim 的基本介绍 2. vi 和 vim 常用的三种模式 2.1 正常模式 2.2 插入模式 2.3 命令行模式 3. vi 和 vim 基本使用 4. 各种模式的相互切换 ...
- 统计内表行数常用的三种方法
以下是统计内表行数常用的三种方法, 如下: 1.LOOP AT it_itab. g_lines2 = g_lines2 + 1. ENDLOOP. 该方法是通过循环内部表自己累 ...
最新文章
- pytorch DataLoader
- 前端一HTML:三: 浏览器页面的本质-html,html语言规则
- 自定义ik分词加载无效的问题分析
- P1029 [NOIP2001 普及组] 最大公约数和最小公倍数问题(2022.02.02) --- python3实现
- 无人机目标定位C++程序
- Linux shell - 按时间和文件大小排序显示文件(ll)
- 数据库索引应用(ms-sql)
- UU加速器——学术资源加速
- 飞龙推荐三个swf互转gif格式工具及flash直接保存gif动画方法
- 开源 syslog 日志系统 scribe
- 运行vba代码的快捷键
- 助你迈向成功之路的二十二个好习惯
- 【算法学习笔记】50.字符串处理 SJTU OJ 1361 丁姐的周末
- 世间谤我、欺我、辱我、笑我,为之奈何?
- 内网实现电视盒子访问PC
- 【织恋袜业】一双袜子的数字化之路——写在第十四届中国·大唐国际袜业博览会开幕前(下)
- 【ACM】kuangbin基础数论专题
- Ubuntu搭建CTFd平台实现动态靶机的过程
- 2021-2027全球及中国翻译软件行业研究及十四五规划分析报告
- linux 进文字界面,CentOS安装后进入时文字界面,不知如何用命令,求解
热门文章
- 智慧停车场解决方案,停车场导航技术怎么实现
- 近期有面试的必看!Android开发究竟该如何学习,成功入职字节跳动
- POI导出Excel表
- 【Android 逆向】Frida 框架 ( Frida 2 种运行模式 | Frida 12.7.5 版本相关工具下载地址 | 在 Android 模拟器上运行 Frida 远程服务程序 )
- CSDN:改变图片的尺寸
- 中国电子商务扶贫联盟成立,阿里积极实践网络扶贫
- 百岁山的故事背后--笛卡尔
- linux项目知乎,COPR 仓库中 4 个很酷的新项目(2020.05) | Linux 中国
- 一只脚踏进Java的大门
- 谈谈当下火热的智能家居背后你可能不知道的细节,如米家、华为和HomeKit