ETL（数据仓库技术）

2024-06-09 18:31:01

ETL（数据仓库技术）

ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过萃取（extract）、转置（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。

数据抽取、清洗、转换、装载

Informatica、OWB、DataStage、Beeload

数据集成快速实现ETL

简介

ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过萃取（extract）、转置（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。 [1]

ETL与ELT

ETL所描述的过程，一般常见的作法包含ETL或是ELT（Extract-Load-Transform），并且混合使用。通常愈大量的数据、复杂的转换逻辑、目的端为较强运算能力的数据库，愈偏向使用ELT，以便运用目的端数据库的平行处理能力。 [1]

工具

ETL（orELT）的流程可以用任何的编程语言去开发完成，由于ETL是极为复杂的过程，而手写程序不易管理，有愈来愈多的企业采用工具协助ETL的开发，并运用其内置的metadata功能来存储来源与目的的对应（mapping）以及转换规则。

工具可以提供较强大的连接功能（connectivity）来连接来源端及目的端，开发人员不用去熟悉各种相异的平台及数据的结构，亦能进行开发。

当然，为了这些好处，付出的代价便是金钱。 [1]

参见

数据仓库（DW）
决策支持系统（DSS）
在线分析处理（OLAP）
数据挖掘（DM）
商务智能（BI）

参考资料

1. Ralph., Kimball, (2004). The data warehouse ETL toolkit : practical techniques for extracting, cleaning, conforming, and delivering data. Caserta, Joe, 1965-. Indianapolis, IN: Wiley. ISBN 978-0764579233. OCLC 57301227.

词条标签：

科技产品，科学

ETL（数据仓库技术）相关推荐

大数据技术栈——ETL（数据仓库技术）
ETL(数据仓库技术) ETL的概念 ETL的三个阶段一. 数据的抽取(Extract) 二.数据的清洗转换(Cleaning.Transform) 三.ETL日志.警告发送 ETL特点 ETL的概 ...
ETL （数据仓库技术）
参考:ETL (数据仓库技术)_百度百科 ETL讲解(很详细!!!) 常见的几种ETL工具 ETL,是英文 Extrac ...
电子商务中的数据仓库技术
电子商务中的数据仓库技术 Data Warehousing for E-Business W.H. Inmon 1 电子商务的基于和挑战 ERP CRM EAI,数据仓库工程挑战:数据量.数据周转速 ...
数据库安全-分布式数据库-数据仓库技术-反规范化技术-大数据
继续肝吧,本章主要讲的数据库安全,分布式数据库,数据仓库技术,反规范化技术,大数据,概念性的东西比较多. 1.数据库安全考的不多,了解下补充自己的知识. 静态转储:即冷备份,指在转储期间不允许对数据 ...
数据产品设计专题（5）- 分布式数据仓库技术架构
一.分布式数据仓库技术架构二.核心内容解读 (1)分布式数据仓库存储技术:hive+hdfs: (2)事实计算平台技术框架:spark: (3)数据挖掘算法技术框架:mllib + sparkR
基于SQL on Hadoop的数据仓库技术
http://www.uspeed.com.cn/958.html 数据仓库是企业统一的数据管理的方式,将不同的应用中的数据汇聚,然后对这些数据加工和多维度分析,并最终展现给用户.它帮助企业将纷繁浩杂 ...
大数据仓库技术实训任务2
大数据仓库技术实训--任务2 请按照要求完成以下内容: 1. 启动hadoop,hive start-all.sh hive 2. 在hive中创建数据库empdb和empdb1 create dat ...
【简介】数据仓库技术实现
数据仓库建设方案有两种,一种是传统架构的数据仓库,一种是大数据架构的数据仓库. 传统数据仓库传统数据仓库是由单机数据库发展而来的.业务数据库一般是关系型数据库(RDBMS),那数据仓库在建设初期,也 ...
数据仓库技术的发展历程
定义数据仓库是决策支持系统(dss)和联机分析应用数据源的结构化数据环境.数据仓库研究和解决从数据库中获取信息的问题.数据仓库的特征在于面向主题.集成性.稳定性和时变性. 数据仓库之父Bill In ...

最新文章

热门文章