1. OLTP、OLAP、HTAP

OLTP：联机事务处理，特点是事务操作频繁、数据量小，基于ER模型。比如ERP系统、CRM系统、电商系统
- 三范式：第一范式：每一列都具有不可分割的原子性；第二范式：实体的唯一性，每个列都和主键相关，消除数据冗余；第三范式：列和列之间不存在传递依赖
- ER模型：实体关系模型
OLAP：联机分析处理，特点是没有事务性操作，主要用于查询数据进行分析，为决策提供帮助，数据量大。比如数据仓库

2. 数据仓库的特点

面向主题的：根据分析需求对数据进行组织，划分成多个主题，如用户、商品主题
数据集成的：针对主题，将多个分散的数据源进行集成
非易失的：数据仓库的数据主要应用是查询分析，一般很少更新和删除数据
时变的：每天都会有新的数据进来，一般保留5~10年的数据

3. 数据仓库分层

将一个复杂的数据处理分解成多个小的步骤来处理，不同的层完成不同的工作，使数据处理的架构更加清晰，出现问题更容易被发现，同时减少了重复的数据开发工作，使数据查询效率和速度变快

ODS源数据层
源数据层，数据储存在不同的数据源，数据格式也不同。一般是业务数据库、日志文件、埋点数据。采用范式建模。同步到该层可以采用ETL工具Nifi等
DWD数仓明细层
对ODS层的数据进行ETL，对缺失值、重复值、异常值进行处理，并对不同数据源的数据进行格式处理，以一致的格式保存在DWD层，数据粒度和ODS一样。采用范式建模

有时为了提高明细数据的易用性，会将维度表的数据放到事实表中
DWM数仓中间层

对多个维度进行数据聚合，产生中间表数据。有时可以省略该层。采用维度建模
DWS数仓服务层
针对某个主题，聚合形成大宽表数据。数据来源为DWD和DWM层。采用维度建模
ADS数据应用层
根据具体的需求构建数据，是高度汇总的数据，针对于特定场景，如报表展示、数据分析和挖掘。采用维度建模

4. 事实表和维度表

事实表

一个数据仓库根据不同的主题可以形成多个事实表。事实表包含多个key，与维度表进行join关联，事实表同时包含多个数值类型的计算字段。事实表的数据量会越来越多
维度表

维度表是对特定实体的各种属性进行描述，如商品维度表、用户维度表。维度表数据量往往较少，变化也少

5. 星型模型和雪花模型

星型模型

以事实表为中心，所有的维度表直接与事实表关联，维度表和维度表没有连接

雪花模型

以事实表为中心，有的维度表直接与事实表关联，有的维度表和维度表连接。相对于星型模型更规范，但join的表多，OLAP的性能更差，一般数据仓库中用的少

数据仓库的特点、数据仓库分层、数据仓库模型相关推荐

一文带你认清数据仓库“维度模型设计”与“分层架构” | 原力计划
作者 | Alice菌责编 | 王晓曼出品 | CSDN博客数据仓库纬度模型设计 1. 纬度建模基本概念维度模型是数据仓库领域大师Ralph Kimall所倡导,他的<数据仓库工具箱&g ...
数据仓库详解及分层理论
目录数据仓库定义数据仓库的特点数据仓库的作用数据仓库与传统数据库的区别数据仓库的架构数据仓库的要求什么是数据仓库分层数据仓库分层的原因数据仓库具体的分层说明数据仓库定义数据仓库 ...
数据仓库的星型模型和雪花模型的区别以及优缺点
数据仓库的星型模型和雪花模型星型模型星型模型是维度模型最简单的形式,也是数据仓库以及数据集市开发中使用最广泛的形式. 星型模式由事实表和维度表组成,一个星型模式中可以有一个或多个事实表,每个事实表 ...
数据仓库(6)数仓分层设计架构
目前主流的数据仓库分层大多为四层,也有五层的架构,这里介绍基本的四层架构. 分别为数据贴源层(ods).数据仓库明细层(dw).多维明细层(dws)和数据集市层(dm). 下面是架构图: ...
数据中台的数据仓库和商业智能BI的数据仓库有什么区别？
数据中台的数据仓库和商业智能BI的数据仓库本质上没有任何区别,都是在底层业务系统数据源和上层应用之间做了一个隔离层,进行上下两层的解耦合.从数据分析应用角度来讲,不管是大数据还是小数据,都是把业务系统 ...
Greenplum 实时数据仓库实践（1）——数据仓库简介
目录 1.1 什么是数据仓库 1.2 操作型系统与分析型系统 1.2.1 操作型系统 1.2.2 分析型系统 1.2.3 操作型系统和分析型系统对比 1.3 抽取-转换-装载 1.3.1 ...
视频教程-数据中台-数据仓库建模设计方法和实现-数据仓库
数据中台-数据仓库建模设计方法和实现客户包括中国移动等数十个世界五百强客户.长期为中国银行,招商银行,建设银行提供数据库和大数据相关培训服务. 目前担任上海某大数据技术公司CTO. 储成宇 ¥298 ...
政府信息化与电子政务、企业信息化与电子商务、数据库和数据仓库的区别、商业智能系统处理过程、数据仓库结构图、数据挖掘、数据仓库和数据湖的对比
政府信息化与电子政务.企业信息化与电子商务.数据库和数据仓库的区别.商业智能系统处理过程.数据仓库结构图.数据挖掘.数据仓库和数据湖的对比政府信息化与电子政务企业信息化与电子商务 1.企业资源计划 ...
数据仓库介绍：什么是数据仓库、数据仓库功能、数据仓库价值、数仓领域职业发展方向规划
数据仓库介绍:什么是数据仓库.数据仓库功能.数据仓库价值.数仓领域职业发展方向规划大家好,本次分享的主题是数据仓库,通过本次分享的目的,一个是帮助到初次接触大数据行业.或者想要了解大数据体系的伙伴, ...
Greenplum 实时数据仓库实践（2）——数据仓库设计基础
目录 2.1 关系数据模型 2.1.1 关系数据模型中的结构 2.1.2 关系完整性 2.1.3 关系数据库语言 2.1.4 规范化 2.1.5 关系数据模型与数据仓库 2.2 维度数据模 ...

数据仓库的特点、数据仓库分层、数据仓库模型

目录

1. OLTP、OLAP、HTAP

2. 数据仓库的特点

3. 数据仓库分层

4. 事实表和维度表

5. 星型模型和雪花模型

数据仓库的特点、数据仓库分层、数据仓库模型相关推荐

最新文章

热门文章