数据仓库分层类型-具体实例

数据仓库分层类型	架构发明者	建模方式[5]	著作	数据仓库特点	架构图
Kimball	Ralph Kimbal	维度建模	The Data Warehouse Toolkit	自底向上
Inmon	Bill Inmon	3NF范式建模	Building the Data Warehouse	自顶向下

这里Kimball中的星形结构可以举例如下[10]：

所以星型结构中的每一个角都是不同的维度表，

他们的连接常常是通过join操作进行起来的。

层次	细分层次	实际举例
ODS	-	web采集到的电商平台消费数据存入kafka
DW	DWD（Data Warehouse Detail）	在DWD层会根据维度模型，设计事实表和维度表[2]
	DWM（Data WareHouse Middle）	在实际计算中，如果直接从DWD或者ODS计算出宽表的统计指标，会存在计算量太大并且维度太少的问题，因此一般的做法是，在DWM层先计算出多个小的中间表，然后再拼接成一张DWS的宽表。由于宽和窄的界限不易界定，也可以去掉DWM这一层，只留DWS层，将所有的数据在放在DWS亦可。（这个意思是说避免报表太卡顿，所以来个中间层先计算一部分）
	DWS（Data WareHouse Servce）	DWS层为公共汇总层，会进行轻度汇总，粒度比明细数据稍粗，基于DWD层上的基础数据，整合汇总成分析某一个主题域的服务数据，一般是宽表。DWS层应覆盖80%的应用场景。[2] 存放数据集市数据[3],即高度汇总的数据
DM	-
App	-	BI报表（展示给领导或者监控室等）、推荐系统等

要不要严格遵守上面的每一层分别落实？
没有这个必要，根据自己业务需求来，

例如采集的数据本身很干净，那就没必要清洗。

80%需求由20%的表来支持。

直接点讲，就是大部分（80%以上）的需求，都用DWS的表来支持就行，

DWS支持不了的，就用DWM和DWD的表来支持，这些都支持不了的极少一部分数据需要从原始日志中捞取。

结合第一点来讲的话就是：

80%的需求，我们都希望以对应用很友好的方式来支持（DWD），而不是直接暴露给应用方原始日志。[3]

来自[9]的一个举例：

当然[4][5][6]中也含有具体举例

Reference：

[1]数据仓库数据分层 - 李秋 - 博客园 (cnblogs.com)

[2](16条消息) 数据仓库设计方案(转载)_微电子学与固体电子学-CSDN博客

[3]数据仓库--通用的数据仓库分层方法 - 大葱拌豆腐 - 博客园 (cnblogs.com)

[4]深入对比数据仓库模式：Kimball vs Inmon - SegmentFault 思否

[5]通俗易懂数仓建模—Inmon范式建模与Kimball维度建模_wx5f5b2077bc1fb的技术博客_51CTO博客

[6]数据仓库ODS、DW和DM概念区分 - 简书 (jianshu.com)

[7](16条消息) 数据仓库dw层_数据仓库分层之辩_云女友的博客-CSDN博客

[8](16条消息) 数据仓库中的Inmon与Kimball架构之争_Xlucas的博客-CSDN博客_inmon 数据仓库

[9]数据仓库搭建——Inmon与Kimball - 李秋 - 博客园 (cnblogs.com)

[10](24条消息) 数据仓库学习（四）——星型模型与雪花模型_livan1234的博客-CSDN博客_星型模型

数据仓库分层类型-具体实例相关推荐

两种数据仓库分层实例
数据仓库分层,目前见到的两种分层: 分层一标准的数据仓库分层:ods(临时存储层),pdw(数据仓库层),mid(数据集市层),app(应用层) ods:历史存储层,它和源系统数据是同构的,而且这一 ...
oracle 数据立方_大数据之数据仓库分层
大数据之数据仓库分层 1. 什么是数据分层? 2. 数据分层的好处一种通用的数据分层设计 3. 举例 4. 各层会用到的计算引擎和存储系统 5. 分层实现 6.数据分层的一些概念说明 7.大数据相关 ...
数据仓库—stg层_数据产品-数据仓库分层建模
说下自己的理解: 数据仓库是分层的,通常情况下都是进行三层建模(当然也不是绝对的). 例如上次说的商品订单数据表,表字段可能有非常多个,但是我们使用的时候可能只用到UID,PayTime,Create ...
数据仓库物理分层_大数据之数据仓库分层
大数据之数据仓库分层什么是数据分层? 数据分层的好处一种通用的数据分层设计举例各层会用到的计算引擎和存储系统分层实现数据分层的一些概念说明 7.大数据相关基础概念 1. 什么是数据分层? ...
数据仓库——分层原理
目录一.什么是数据仓库二.数仓建模的意义,为什么要对数据仓库分层? 三.ETL 四.技术架构五.数仓分层架构数仓逻辑分层 1.数据引入层(ODS,Operational Data Store, ...
数据仓库dw层_数据仓库分层之辩
前言,这篇文章最早见过是在2009年的某一个论坛上并保存了下来, 今天发出来读了一遍,不禁思考本质上这些年我们到底进步了什么? 数据仓库的分层可以算是数据仓库架构的子话题.在前段时间参与的一次讨论中, ...
数据仓库分层和元数据管理
数仓的分层架构按照数据流入流出的过程,数据仓库架构可分为三层--源数据.数据仓库.数据应用. 数据仓库的数据来源于不同的源数据,并提供多样的数据应用,数据自下而上流入数据仓库后向上层开放应用,而数据 ...
三种获取Class类型的实例的方法
通过Object类中的getClass()方法: 通过静态方法Class.forName("全类名"): 通过类字面常量Class.class. 三种获取Class类型的实例的方法 ...
深度 | 数据仓库分层存储技术揭秘
简介: 作者: 沄浩.士远一 .背景据IDC发布的<数据时代2025>报告显示,全球每年产生的数据将从2018年的33ZB增长到2025年的175ZB,平均每天约产生491EB数据.随 ...

数据仓库分层类型-具体实例

数据仓库分层类型-具体实例相关推荐

最新文章

热门文章