记忆词：

ODS、DW、DA、ETL

B06 - 999、大数据组件学习③ - Hive

ギ舒适区ゾ || ♂ 累觉无爱 ♀

一、数据仓库分层架构

1.1 ~ 数据仓库架构分层。

按照数据流入流出的过程，数据仓库架构可分为三层——源数据、数据仓库、数据应用。
数据仓库的数据来源于不同的源数据，并提供多样的数据应用，数据自下而上流入数据仓库后向上层开放应用，而数据仓库只是中间集成化数据管理的一个平台。

1.2 ~ 数据仓库架构分层详解。

1.2.1 . 源数据层（ODS）

此层数据无任何更改，直接沿用外围系统数据结构和数据，不对外开放；为临时存储层，是接口数据的临时存储区域，为后一步的数据处理做准备。

1.2.2 . 数据仓库层（DW）

也称为细节层，DW 层的数据应该是一致的、准确的、干净的数据，即对源系统数据进行了清洗（去除了杂质）后的数据。

1.2.3 . 数据应用层（DA 或 APP）

前端应用直接读取的数据源；根据报表、专题分析需求而计算生成的数据。

1.2.4 . ETL

数据仓库从各数据源获取数据及在数据仓库内的数据转换和流动都可以认为是 ETL（抽取 Extra, 转化 Transfer, 装载 Load）的过程，ETL 是数据仓库的流水线，也可以认为是数据仓库的血液。
它维系着数据仓库中数据的新陈代谢，而数据仓库日常的管理和维护工作的大部分精力就是保持 ETL 的正常和稳定。

1.3 ~ 为什么要对数据仓库分层？

用空间换时间，通过大量的预处理来提升应用系统的用户体验（效率），因此数据仓库会存在大量冗余的数据；不分层的话，如果源业务系统的业务规则发生变化将会影响整个数据清洗过程，工作量巨大。
通过数据分层管理可以简化数据清洗的过程，因为把原来一步的工作分到了多个步骤去完成，相当于把一个复杂的工作拆成了多个简单的工作，把一个大的黑盒变成了一个白盒，每一层的处理逻辑都相对简单和容易理解，这样我们比较容易保证每一个步骤的正确性，当数据发生错误的时候，往往我们只需要局部调整某个步骤即可。

月落乌啼霜满天，江枫渔火对愁眠。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

※ 世间诱惑何其多，坚定始终不动摇。

在SQL Server 2000中，每个表最多有3个触发器，分别用于insert、Update和________。

…
Delete

月落乌啼霜满天，江枫渔火对愁眠。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

注：CSDN手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。

我知道我的不足，我也知道你的挑剔，但我就是我，不一样的烟火，谢谢你的指指点点，造就了我的点点滴滴：）！

月落乌啼霜满天，江枫渔火对愁眠。

B06 - 004、数据仓库分层架构相关推荐

Hive数据仓库分层架构
目录一.为什么要进行数据分层?数据分层的好处? 1.原因 2.好处二.hive数仓分为哪几层? 1.ODS层:数据运营层(贴源层) 2.DW层: 数据仓库层 (1)DWD层:数据明细层 (2)DW ...
一文带你认清数据仓库“维度模型设计”与“分层架构” | 原力计划
作者 | Alice菌责编 | 王晓曼出品 | CSDN博客数据仓库纬度模型设计 1. 纬度建模基本概念维度模型是数据仓库领域大师Ralph Kimall所倡导,他的<数据仓库工具箱&g ...
数据仓库面试题——数据仓库分层
答案来源:大数据面试题V3.0,523道题,679页,46w字问过的一些公司:字节 x 2,字节(2021.07)-(2021.08)-(2021.10),阿里 x 2,爱奇艺,百度 x 2,百度( ...
数据仓库dw层_数据仓库分层之辩
前言,这篇文章最早见过是在2009年的某一个论坛上并保存了下来, 今天发出来读了一遍,不禁思考本质上这些年我们到底进步了什么? 数据仓库的分层可以算是数据仓库架构的子话题.在前段时间参与的一次讨论中, ...
数据仓库的架构与设计
https://blog.csdn.net/trigl/article/details/68944434 公司之前的数据都是直接传到Hdfs上进行操作,没有一个数据仓库,趁着最近空出几台服务器,搭了个 ...
oracle 数据立方_大数据之数据仓库分层
大数据之数据仓库分层 1. 什么是数据分层? 2. 数据分层的好处一种通用的数据分层设计 3. 举例 4. 各层会用到的计算引擎和存储系统 5. 分层实现 6.数据分层的一些概念说明 7.大数据相关 ...
数据仓库分层ODS DW DM 主题标签
数据仓库知识之ODS/DW/DM - xingchaojun的专栏 - CSDN博客数据仓库为什么要分层 - 晨柳溪 - 博客园数据仓库的架构与设计 - Trigl的博客 - CSDN博客数据仓 ...
数据仓库分层和元数据管理
数仓的分层架构按照数据流入流出的过程,数据仓库架构可分为三层--源数据.数据仓库.数据应用. 数据仓库的数据来源于不同的源数据,并提供多样的数据应用,数据自下而上流入数据仓库后向上层开放应用,而数据 ...
数据仓库分层类型-具体实例
数据仓库分层类型架构发明者建模方式[5] 著作数据仓库特点架构图 Kimball Ralph Kimbal 维度建模 The Data Warehouse Toolkit 自底向上 Inmon ...

B06 - 004、数据仓库分层架构

初学耗时：0.5h

记忆词：

ODS、DW、DA、ETL

一、数据仓库分层架构

1.1 ~ 数据仓库架构分层。

1.2 ~ 数据仓库架构分层详解。

1.2.1 . 源数据层（ODS）

1.2.2 . 数据仓库层（DW）

1.2.3 . 数据应用层（DA 或 APP）

1.2.4 . ETL

1.3 ~ 为什么要对数据仓库分层？

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

※ 世间诱惑何其多，坚定始终不动摇。

在SQL Server 2000中，每个表最多有3个触发器，分别用于insert、Update和________。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

B06 - 004、数据仓库分层架构相关推荐

最新文章

热门文章