数据仓库分层设计，零基础一看就会
理解数仓分层中的分层设计
实施
什么是分层？
决定数据在数据仓库中处理的流程
数据从进入到被应用，总共经过哪些步骤
在Hive中每一层就是一个数据库，每一层的表放在对应的数据库中
为什么要做分层？
数仓不做分层
数仓做了分层
- 分层的优点
清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解数据血缘追踪：我们最终给业务呈现的是一张能够直接使用放入业务表，但是它的来源有很多，如果有一张来源表出问题了，我们希望能够快速准确地定位到问题，并清楚它的危害范围减少重复开发：规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算把复杂问题简单化：一个复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单和容易理解屏蔽原始数据的异常对业务的影响：不必改一次业务就需要重新接入数据一般怎么分层？
常见的分层结构是什么？
原始数据层名称：ODS，原始数据层或者操作数据层
功能：用于存储最原始的数据，最接近原始数据的层次
数据仓库层名称：DW，专门用于实现原始数据的处理和加工转换的
功能：实现原始数据的转换处理
数据应用层名称：DA/APP/ADS/RPT，存储最终要被使用的数据的
功能：存储结果
- ODS：原始数据层，直接采集过来的原始数据
DW：数据仓库层，实现对原始数据的处理转换
APP：数据应用层，对外提供所有数据应用的
- ODS：原始数据层
数据：与原始数据保持一致
功能：临时存储采集到的原始数据
DWD：明细数据层
功能：对ODS层数据进行数据清洗，保证数据质量
数据：来自于ODS层
DWM/DWB：轻度聚合层【中间数据层/基础数据层】
功能：对DWD层实现轻度聚合，通过关联构建宽表退化维度，或者轻度聚合构建基础指标来实现
数据：来自于DWD
DWS：服务数据层
功能：对上一层的数据按照主题需求构建主题结果进行最终聚合，主题域宽表
数据：上一层，包含这个主题域所有维度和指标
APP/DA/ADS：数据应用层
功能：按照数仓主题对外提供数据的需求
数据：对DWS层的数据进行拆解，构建每个主题的结果表
DM：数据集市层
功能：按照每个部门的需求来构建每个部门的数据或者按照细粒度做轻度聚合
数据：来自于DW
DIM：维度数据层
功能：存储所有维度数据表
数据：一般都来自于DWD
TMP：临时数据层
功能：存放一些临时数据表
数据：来自于DW中任何一层需要用到的临时数据
每个公司的分层都不一样，但是常见的脑子里要有这种分层的概念
数据仓库分层设计，零基础一看就会相关推荐
- UI设计师需要学习哪些知识?UI设计零基础怎么入门？
本文由:"学设计上兔课网"原创,图片素材来自网络,仅供学习分享 UI设计师需要学习哪些知识?UI设计零基础怎么入门?很多初学设计的小伙伴都不是很了解ui,觉得UI设计及时做界面.做 ...
- 设计零基础配色的方法有哪些？怎么样才能配好色？
本文由:"学设计上兔课网"原创,图片素材来自网络,仅供学习分享 设计零基础配色的方法有哪些?怎么样才能配好色?颜色在设计和日常生活中起着至关重要的作用.它可以吸引你的眼球.有时,它 ...
- UI设计零基础学难吗？
随着移动互联网时代的发展,带动了UI设计这个专业的发展,很多干了多年平面.电商.网页的设计师.纷纷转UI设计专业,市面上UI设计培训班也雨后春笋一样开始冒出,一些有设计基础的会选择自学,也有一些零基础 ...
- 数控入门知识，零基础的看过来
数控入门知识,零基础的看过来 人生最可贵的是两个词,一个是认真,一个是坚持,认真的人改变了自己,坚持的改变了命运,有些事情不是因为看到了希望才去坚持的,而是坚持了才有希望. 数控编程: 数控加工程序编 ...
- python编程入门与案例详解-Python零基础必看的入门书藉：Python编程从入门到实践...
提取码:sc9i 本书是一本针对所有学习Python读者而作的Python 入门书.全书分两部分:第一部分介绍用Python编程所必须了解的基本概念,包括matplotlib.NumPy 和Pygal ...
- 身为程序员还看不懂UML类图？ 一文带你零基础学会看UML类图！
身为程序员还看不懂UML类图? 一文带你零基础学会看UML类图! 一,UML类图示例图 二,UML类图图例 三,分步解析说明 3.1 类图: 3.2 接口: 3.3 实现继承 3.4 实现接口: 3. ...
- python星空画法教程_动漫星空怎么画？一步步教你星空画法教程！零基础一看就会！...
动漫星空怎么画?星空怎么画简单?星空怎么画好看?不会画画怎么自学?想必这些都是绘画初学者们经常在想的问题吧,就是不知道如何才能学习好绘画,然后绘画出自己想要画的东西 那么今天灵猫课堂就在网络上收集整理 ...
- 表格制作教程入门_广告制作技术全套教程 电商海报设计零基础入门 视频流量运营教程...
广告制作技术全套教程 https://pan.baidu.com/s/1AeMp3Yuao676QA-hyRpvsw 提取码: 7i1p 电商海报设计零基础入门https://pan.baidu.co ...
- Java零基础必看学习教程，Java开发环境配置详解
很多Java新手小白在学习Java编程的时候,碰到的第一难题就是不知道如何安装和配置java开发环境. 今天整理了史上最详细的安装及Java开发环境配置教程,通过图文并茂的方式详细讲解每一步骤,手把手 ...
- 【零基础】看懂理解傅里叶变换后的频谱图-附例题
首先安利一个网站,在线做傅里叶变换,不用等MATLAB漫长的启动了 https://sci2fig.herokuapp.com/fourier 文章中部分图片来自 https://blog.csdn. ...
最新文章
- Btree(B-树)---C++
- 学习下如何统计【0-9】在任意给定数中出现的次数
- JDK12下的ArrayList源码解读 与 Vector的对比
- vmx转换ofv模板，导入esxi
- php 画虚线,HTML5 Canvas绘制圆点虚线实例_html5教程技巧
- Silverlight 出现“无法加载 URI 的内容。URI 可能无效”错误的解决方案
- jquery源码分析(四)——回调对象 Callbacks
- LCA RMQ+ST表学习笔记
- 虚拟机virtualBox
- XLSTransformer+模板 导出 Excel
- PDPS教程之工艺仿真必备软件
- 单片机C语言字符串转数字
- 新能源汽车前景广袤但痛点多多，大圆柱电池能否提供最优解？
- python中sep是什么意思_python sep啥意思
- 虚拟机ping通主机步骤_6在购买虚拟主机服务之前，请按照操作步骤进行操作
- 信息搜集-读取微信聊天记录
- nginx模块之split_clients
- MODIS标准数据产品分级
- ecshop小京东模板切换到smarty3.13之模板函数,用模板函数替换楼层
- EAN13条形码了解，有c测试代码