数据仓库之 ETL漫谈

http://superlxw1234.iteye.com/blog/1666960

ETL，Extraction-Transformation-Loading的缩写，中文名称为数据抽取、转换和加载。

大多数据仓库的数据架构可以概括为：

数据源-->ODS(操作型数据存储)-->DW-->DM(data mart)

ETL贯穿其各个环节。

一、数据抽取：

可以理解为是把源数据的数据抽取到ODS或者DW中。

1. 源数据类型：

关系型数据库，如Oracle,Mysql,Sqlserver等;

文本文件，如用户浏览网站产生的日志文件，业务系统以文件形式提供的数据等；

其他外部数据，如手工录入的数据等；

2. 抽取的频率：

大多是每天抽取一次，也可以根据业务需求每小时甚至每分钟抽取，当然得考虑源数据库系统能否承受；

3. 抽取策略：

个人感觉这是数据抽取中最重要的部分，可分为全量抽取和增量抽取。

全量抽取适用于那些数据量比较小，并且不容易判断其数据发生改变的诸如关系表，维度表，配置表等；

增量抽取，一般是由于数据量大，不可能采用全量抽取，或者为了节省抽取时间而采用的抽取策略；

如何判断增量，这是增量抽取中最难的部分，一般包括以下几种情况：

a) 通过时间标识字段抽取增量；源数据表中有明确的可以标识当天数据的字段的流水表，

如createtime，updatetime等；

b) 根据上次抽取结束时候记录的自增长ID来抽取增量；无createtime,但有自增长类型字段的流水表，

如自增长的ID，抽取完之后记录下最大的ID，

下次抽取可根据上次记录的ID来抽取；

c) 通过分析数据库日志获取增量数据，无时间标识字段，无自增长ID的关系型数据库中的表；

d) 通过与前一天数据的Hash比较，比较出发生变化的数据，这种策略比较复杂，在这里描述一下，

比如一张会员表，它的主键是memberID,而会员的状态是有可能每天都更新的，

我们在第一次抽取之后，生成一张备用表A，包含两个字段，第一个是memberID,

第二个是除了memberID之外其他所有字段拼接起来，再做个Hash生成的字段，

在下一次抽取的时候，将源表同样的处理,生成表B,将B和A左关联，Hash字段不相等的

为发生变化的记录，另外还有一部分新增的记录，

根据这两部分记录的memberID去源表中抽取对应的记录；

e) 由源系统主动推送增量数据；例如订单表，交易表，

有些业务系统在设计的时候，当一个订单状态发生变化的时候，是去源表中做update，

而我们在数据仓库中需要把一个订单的所有状态都记录下来，

这时候就需要在源系统上做文章，数据库触发器一般不可取。我能想到的方法是在业务系统上做些变动，

当订单状态发生变化时候，记一张流水表，可以是写进数据库，也可以是记录日志文件。

当然肯定还有其他抽取策略，至于采取哪种策略，需要考虑源数据系统情况，

抽取过来的数据在数据仓库中的存储和处理逻辑，抽取的时间窗口等等因素。

二、数据清洗：

顾名思义，就是把不需要的，和不符合规范的数据进行处理。数据清洗最好放在抽取的环节进行，

这样可以节约后续的计算和存储成本；

当源数据为数据库时候，其他抽取数据的SQL中就可以进行很多数据清洗的工作了。

数据清洗主要包括以下几个方面：

1. 空值处理；根据业务需要，可以将空值替换为特定的值或者直接过滤掉；

2. 验证数据正确性；主要是把不符合业务含义的数据做一处理，比如，把一个表示数量的字段中的字符串

替换为0，把一个日期字段的非日期字符串过滤掉等等；

3. 规范数据格式；比如，把所有的日期都格式化成YYYY-MM-DD的格式等；

4. 数据转码；把一个源数据中用编码表示的字段，通过关联编码表，转换成代表其真实意义的值等等；

5. 数据标准，统一；比如在源数据中表示男女的方式有很多种，在抽取的时候，直接根据模型中定义的值做转化，

统一表示男女；

6. 其他业务规则定义的数据清洗。。。

三、数据转换和加载：

很多人理解的ETL是在经过前两个部分之后，加载到数据仓库的数据库中就完事了。

数据转换和加载不仅仅是在源数据-->ODS这一步，ODS-->DW, DW-->DM包含更为重要和复杂的ETL过程。

1. 什么是ODS？

ODS（Operational Data Store）是数据仓库体系结构中的一个可选部分，

ODS具备数据仓库的部分特征和OLTP系统的部分特征，

它是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。---摘自百度百科

其实大多时候，ODS只是充当了一个数据临时存储，数据缓冲的角色。一般来说，

数据由源数据加载到ODS之后，会保留一段时间，当后面的数据处理逻辑有问题，需要重新计算的时候，

可以直接从ODS这一步获取，而不用再从源数据再抽取一次，减少对源系统的压力。

另外，ODS还会直接给DM或者前端报表提供数据，比如一些维表或者不需要经过计算和处理的数据；

还有，ODS会完成一些其他事情，比如，存储一些明细数据以备不时之需等等；

2. 数据转换(刷新)：

数据转换，更多的人把它叫做数据刷新，就是用ODS中的增量或者全量数据来刷新DW中的表。

DW中的表基本都是按照事先设计好的模型创建的，如事实表，维度表，汇总表等，

每天都需要把新的数据更新到这些表中。

更新这些表的过程(程序)都是刚开始的时候开发好的，每天只需要传一些参数,如日期，来运行这些程序即可。

3. 数据加载：

个人认为，每insert数据到一张表，都可以称为数据加载，至于是delete+insert、truncate+insert、

还是merge，这个是由业务规则决定的，这些操作也都是嵌入到数据抽取、转换的程序中的。

四、ETL工具：

在传统行业的数据仓库项目中，大多会采用一些现成的ETL工具，如Informatica、Datastage、微软SSIS等。

这三种工具我都使用过，优点有：图形界面，开发简单，数据流向清晰；缺点：局限性，不够灵活，

处理大数据量比较吃力，查错困难，昂贵的费用；

选择ETL工具需要充分考虑源系统和数据仓库的环境，当然还有成本，如果源数据系统和数据仓库都采用

ORACLE，那么我觉得所有的ETL，都可以用存储过程来完成了。。

在大一点的互联网公司，由于数据量大，需求特殊，ETL工具大多为自己开发，

或者在开源工具上再进行一些二次开发，在实际工作中，

一个存储过程，一个shell/perl脚本，一个java程序等等，都可以作为ETL工具。

五、ETL过程中的元数据：

试想一下，你作为一个新人接手别人的工作，没有文档，程序没有注释，

数据库中的表和字段也没有任何comment，你是不是会骂娘了？

业务系统发生改变，删除了一个字段，需要数据仓库也做出相应调整的时候，

你如何知道改这个字段会对哪些程序产生影响？

。。。。

源系统表的字段及其含义，源系统数据库的IP、接口人，数据仓库表的字段及其含义，

源表和目标表的对应关系，一个任务对应的源表和目标表，任务之间的依赖关系，

任务每次执行情况等等等等，这些元数据如果都能严格的管控起来，上面的问题肯定不会是问题了。。。

数据仓库之 ETL漫谈相关推荐

转贴：如何从优化SQL入手提高数据仓库的ETL效率作者：周四阳　蔡自兴
如何从优化SQL入手提高数据仓库的ETL效率作者:周四阳蔡自兴 1 引言数据仓库建设中的ETL(Extract, Transform, Load)是数据抽取.转换和装载到模型的过 ...
数据仓库（ETL）、数据仓库工具Informatica介绍
一.数据仓库(ETL) 数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision-Support)[将企业中的分散.零乱.标准不统一的数据整合到一起,为企业的决策提供分析依据 ...
从如何优化SQL入手，提高数据仓库的ETL效率
1 引言数据仓库建设中的ETL(Extract, Transform, Load)是数据抽取.转换和装载到模型的过程,整个过程基本是通过控制用SQL语句编写的存储过程和函数的方式来实现 ...
数据仓库的ETL、OLAP和BI应用
文 | 穆晨 ▍创建数据仓库数据仓库的创建方法和数据库类似,也是通过编写DDL语句来实现.在过去,数据仓库系统大都建立在RDBMS上,因为维度建模其实也可以看做是关系建模的一种.但如今随着开源分布式 ...
商业智能，数据仓库，ETL，数仓调度工具informatica介绍手账（二）
数据仓库数据仓库定义:数据仓库是面向主题的.集成的.稳定的.反应历史变化的.随着时间的历史吧反应变化的数据集合. 数据仓库的特点: (1)面向主题:常规数据库主要是面向事务性处理,比如增删改查.数仓 ...
商业智能，数据仓库，ETL，数仓调度工具informatica介绍手账（三）
数据抽取.转换和加载,装载(ETL) (1)数据抽取:抽取是源数据进入数仓的第一步,每个业务系统不同,因此需建立不同的抽取.并进行下一步清洗.抽取目的,提供批处理服务(抽取流程启动,监控,作业调度抽取 ...
数据仓库模型ETL架构(DWI/DWR/DM)
1.DWI DWI:数据湖.数据砥柱,一般存放在HDFS 数据仓库的基础数据来源,各种杂七杂八的数据关键点:数据清洗.数据整合.异常处理.增量获取 ETL:E-数据抽取.数据清洁.格式转换,T-生成 ...
BI、数据仓库、ETL、大数据开发工程师有什么区别？
一味的解释数据仓库概念可能没意思,我们从不同角色出发吧老板 :我是一家手机公司的老板,今天要向去董事局汇报,我要准备一份介绍过去三年的用户增长.用户留存.用户活跃度.手机里面每个APP使用率等情 ...
About 数据仓库和ETL解决方案的相关总结（EDWETL)
博文目录 ETL Tools For EDW 主题分享一.数据仓库基础概念 1.定义 2.关键特性 3.粒度 4.核心组件 5.相关拓展 5.1.数据仓库两大理论流派 5.2.数据仓库的基本需求 5 ...

数据仓库之 ETL漫谈

数据仓库之 ETL漫谈相关推荐

最新文章

热门文章