数据仓库架构分层设计

数据仓库架构分层设计包括STG（数据缓冲层）、ODS（数据操作层）、DWD（数据明细层）、DWS（主题汇总层）和ADM（数据应用层）。

1、STG层
主要完成业务系统结构化数据引入到数据中台，保留业务系统原始数据，缓冲层设计主要保持和数据源的一致性，不做任何类型转换和数据加工处理，为ODS层提供基础数据服务。
2、ODS层
对STG层数据进行类型转换或增量合并处理，得到的全量明细数据，为DWD、DWS和ADM层提供数据服务。
3、DWD层
明细宽表层，用于存放完整详细历史数据。面向业务过程建模，紧紧围绕着业务过程来设计，通过获取描述业务过程的度量来表达业务过程，包含了引用的维度和与业务过程有关的度量。其设计目标是为后续的Data Warehouse Model提供灵活性和扩展性的基础，同时可以在DW层无法支持需求时直接为应用层提供数据。DWD层由于与业务系统耦合程度较高，其稳定性会受到业务系统的影响。
4、DWS层
存放详细历史数据的公共汇总数据层，面向分析主题建模。DWS是核心数据层，是为应用层提供足够的灵活性和扩展性的基础。
5、ADM层
提供直接面向业务或应用的数据，主要对个性化指标数据进行架构处理，如无公用性或复杂性（如指数型、比值型、排名型等指标数据）的指标数据加工。同时为方便实现数据应用、数据消费的诉求，进行面向应用逻辑的数据组装（如打宽表集市、横表转纵表、趋势指标串等）。

数据仓库架构分层设计相关推荐

数据仓库：分层设计详解
文章目录简介一. Why?为什么要对数据仓库分层二. How?数据仓库的ETL 1.分层的误区三. 中台技术架构四.数仓分层架构五.贴源层 (ODS, Operational Data S ...
浅谈数据仓库架构设计
1. 数据中台与DW/BI/DSS 个人认为数据中台本质上是一种新的适配大数据技术发展的新的"数据仓库-决策支持(商业智能)"架构.这个架构是构建在传统的架构基础之上,对传统架构的 ...
分布式网站架构和设计
一.面向服务的架构(SOA service oriented architecture) RPC的全称是Remote Process Call,远程过程调用. 无论是何种类型的数据,都要转换成二进制在 ...
数据仓库(6)数仓分层设计架构
目前主流的数据仓库分层大多为四层,也有五层的架构,这里介绍基本的四层架构. 分别为数据贴源层(ods).数据仓库明细层(dw).多维明细层(dws)和数据集市层(dm). 下面是架构图: ...
数据仓库的架构与设计
https://blog.csdn.net/trigl/article/details/68944434 公司之前的数据都是直接传到Hdfs上进行操作,没有一个数据仓库,趁着最近空出几台服务器,搭了个 ...
万字详解数仓分层设计架构 ODS-DWD-DWS-ADS
一.数仓建模的意义,为什么要对数据仓库分层? 只有数据模型将数据有序的组织和存储起来之后,大数据才能得到高性能.低成本.高效率.高质量的使用. 1.分层意义 1)清晰数据结构:每一个数据分层都有它的作 ...
数据仓库架构以及数据模型的设计
1.什么是数据仓库? 权威定义:数据仓库是一个面向主题的.集成的.相对稳定的.反映历史变化的数据集合,用于支持管理决策. 1)数据仓库是用于支持决策.面向分析型数据处理: 2)对多个异构的数据源有效集 ...
基于阿里云的数据仓库架构设计
文章目录基于阿里云的数据仓库架构设计产品对比离线数仓实时数仓数仓规范基于阿里云的数据仓库架构设计产品对比阿里云产品同类产品简介 RDS MySQL.PostgreSQL 关系型数据 ...
数据仓库分层设计(基于Hive)
1.数据仓库逻辑分层架构先来看数据仓库的逻辑分层架构: 分层名称可能不一样,但基本是都是这样想要看懂数据仓库的逻辑分层架构,先要弄懂以下概念数据源 : 数据来源,互联网公司的数据来源随着公司的规 ...

数据仓库架构分层设计

数据仓库架构分层设计相关推荐

最新文章

热门文章