为什么要对数据仓库分层？
存储在ODS层的数据显然是不能直接使用的，要经过层层处理；如果一步到位计算出各类指标将来业务变化的时候又要重头开始开发一遍，因此数据仓库分层是很有必要的。
数据仓库分层主要有以下几点好处：
1.把复杂问题简单化。
可以将一个复杂的任务分解成多个步骤来完成，每层只处理单一的一个步骤。
2.减少重复开发。
数据在每一层进行特定的处理，保留了大量的中间层数据，将来业务变更的时候可以从已有的中间层数据重新计算而不需要重头再来，大大地减少了重复开发；
3.便于管理使用。
通过分层可以看到数据在整个仓库中的流转，方便掌握数据的生命周期，每一层负责特定的职责，便于使用者理解使用。
数据仓库分层通常分为以下三层：DWD、DWM、DWS。每一层的功能如下：
1） 数据明细层：DWD（Data Warehouse Detail）DWD层直接与ODS层接触，ODS层的数据经过ETL后流向该层，一般保持和ODS层一样的数据粒度。
DWD层的主要工作有以下几点：
① 数据质量保证ODS层的异常值、缺失值等等数据问题在这一层中解决，视具体情况进行数据矫正或者补充默认值或者直接丢弃。
② 维度退化在本层同时也要开始为后续的数据使用做准备，之前维度建模的事实表和维度表后续使用的话需要进行大量的事实表维度表关联，显然效率是非常低下的；在DWD层将一些维度退化至事实表中以减少关联，即提前关联好各维度以便后续使用。
③ 数据聚集ODS层的数据来源各种各样，有些数据属于同一个主题的但是来源不同，因此存在于不同表之中，需要将不同来源但是属于相同主题的数据汇总到同一张表之中。
2）数据中间层：DWM（Data WareHouse Middle）DWM层的作用是进行数据聚合，即计算出一些公共指标，生成一系列中间表，方便后续使用方直接取数，本层的数据聚合保留较细的维度；这一层视具体业务而定，如果业务比较简单可以不需要这一层。
3）数据服务层：DWS（Data WareHouse Servce）DWS层即我们熟知的数据集市或者大宽表。本层将DWM层的指标数据按主题进行汇总，生成一些字段较多的大宽表，即将各个指标都放在一张表中，方便使用方直接从表里面取数不需要进行任何计算。
由于将各种指标都合并到一张表中，DWS层的表不会太多，一张表包含了较多的业务内容，多指标的整合也注定了DWS层的数据表里面的维度不会太多，仅保留各指标共有的常用的一些维度。
了解更多大数据相关课程技术欢迎关注小编！
为什么要对数据仓库分层？相关推荐
- 数据仓库dw层_数据仓库分层之辩
前言,这篇文章最早见过是在2009年的某一个论坛上并保存了下来, 今天发出来读了一遍,不禁思考本质上这些年我们到底进步了什么? 数据仓库的分层可以算是数据仓库架构的子话题.在前段时间参与的一次讨论中, ...
- oracle 数据立方_大数据之数据仓库分层
大数据之数据仓库分层 1. 什么是数据分层? 2. 数据分层的好处 一种通用的数据分层设计 3. 举例 4. 各层会用到的计算引擎和存储系统 5. 分层实现 6.数据分层的一些概念说明 7.大数据相关 ...
- 数据仓库分层和元数据管理
数仓的分层架构 按照数据流入流出的过程,数据仓库架构可分为三层--源数据.数据仓库.数据应用. 数据仓库的数据来源于不同的源数据,并提供多样的数据应用,数据自下而上流入数据仓库后向上层开放应用,而数据 ...
- 数据仓库分层类型-具体实例
数据仓库分层类型 架构发明者 建模方式[5] 著作 数据仓库特点 架构图 Kimball Ralph Kimbal 维度建模 The Data Warehouse Toolkit 自底向上 Inmon ...
- 深度 | 数据仓库分层存储技术揭秘
简介: 作者: 沄浩.士远 一 .背景 据IDC发布的<数据时代2025>报告显示,全球每年产生的数据将从2018年的33ZB增长到2025年的175ZB,平均每天约产生491EB数据.随 ...
- 两种数据仓库分层实例
数据仓库分层,目前见到的两种分层: 分层一 标准的数据仓库分层:ods(临时存储层),pdw(数据仓库层),mid(数据集市层),app(应用层) ods:历史存储层,它和源系统数据是同构的,而且这一 ...
- 数据仓库分层存储技术揭秘
一 背景 据IDC发布的<数据时代2025>报告显示,全球每年产生的数据将从2018年的33ZB增长到2025年的175ZB,平均每天约产生491EB数据.随着数据量的不断增长,数据存储 ...
- 数据仓库面试题——数据仓库分层
答案来源:大数据面试题V3.0,523道题,679页,46w字 问过的一些公司:字节 x 2,字节(2021.07)-(2021.08)-(2021.10),阿里 x 2,爱奇艺,百度 x 2,百度( ...
- B06 - 004、数据仓库分层架构
初学耗时:0.5h 注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端. 一.数据仓库分层架构 1.1 数据仓库架构分层. 1.2 数据仓库架构分层详解. 1.3 ...
最新文章
- Machine Learning——DAY1
- 高通平台耳机插拔检测
- 彩色RGB图像转为灰度图像
- Meeting HDU - 5521
- 编译指令#pragma详解
- 用可视化报告拿到20W年终奖的时候，才知道数据可视化的重要
- 查看linux应用zabbix版本
- layui-table 多一列问题
- 床头千万不要有电磁波
- Sql Server 2005 开发版亲测可用下载地址
- Quidway S系列交换机
- 密码机分类---服务器密码机
- 衣带渐宽终不悔，为伊消得人憔悴。
- sourcetree添加gitignore不生效解决方案
- 计算机专业就业尴尬问题,计算机专业就业困境初探
- LocalDateTime返回的时间中带有T
- 计算机操作知识 p?p?t,计算机初级基本操作
- 图像特效---(Sketch Filter)素描滤镜
- 百度AI攻略：实现人体姿态判定打分
- 360元（含硬盘）！小白二手旧电脑组建超低价NAS记录