1.数据仓库DW

1.1简介

Data warehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的，是为前端查询和分析作为基础，主要应用于OLAP（on-line Analytical Processing），支持复杂的分析操作，侧重决策支持，听且提供直观易懂的查询结果。比较流行的有：AWS Redshift，Greenplum，Hive等。

1.2主要特点

面向主题：
操作型数据库组织面向事务处理任务，而数据仓库中的数据是按照一定的主题域进行组织。
主题是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通过与多个操作型信息系统相关。
集成
需要对源数据进行加工与融合，统一与综合
在加工的过程中必须消除源数据的不一致性，以保证数据仓库内的信息时关于整个企业的一致的全局信息。（关联关系）
不可修改
DW中的数据并不是最新的，而是来源于其他数据源
数据仓库主要是为决策分析提供数据，涉及的操作主要是数据的查询
与时间相关
处于决策的需要数据仓库中的数据都需要标明时间属性

1.3与数据库的对比

DW： 专门为数据分析设计的，涉及读取大量数据以了解数据之间的关系和趋势
数据库： 用于捕获和存储数据

特性	数据仓库	事务数据库
适合的工作负载分析、报告、大数据	事务处理
数据源	从多个来源收集和标准化的数据	从单个来源（例如事务系统）捕获的数据
数据捕获	批量写入操作通过按照预定的批处理计划执行	针对连续写入操作进行了优化，因为新数据能够最大程度地提高事务吞吐量
数据标准化	非标准化schema，例如星型Schema或雪花型schema	高度标准化的静态schema
数据存储	使用列式存储进行了优化，可实现轻松访问和高速查询性能	针对在单行型物理块中执行高吞吐量写入操作进行了优化
数据访问	为最小化I/O并最大化数据吞吐量进行了优化	大量小型读取操作

2.数据分层

数据分层，每个企业根据自己的业务需求可以分成不同的层次，但是最基础的分层思想，理论上数据分为三个层：数据运营层、数据仓库层、数据服务层。基于这个基础分层之上，再提交信息的层次，来满足不同的业务需求。

2.1数据运营层（ODS）

ODS：Operation Data Store 数据准备区，也称为贴源层。数据仓库源头系统的数据表通常会原封不动的存储一份，这称为ODS层，是后续数据仓库加工数据的来源。
ODS层数据的来源方式：
业务库
经常会使用sqoop来抽取，例如每天定时抽取一次。
实时方面，可以考虑用canal监听mysql的binlog，实时接入即可。
埋点日志
日志一般以文件的形式保存，可以选择用flume定时同步
可以用spark streaming或者Flink来实时接入
kafka也OK
消息队列：即来自ActiveMQ、Kafka的数据等。

2.2数据仓库层（DW）

DW数据分层，由下到上为DWD，DWB，DWS。

DWD：data warehouse details 细节数据层，是业务层与数据仓库的隔离层。主要对ODS数据层做一些数据清洗和规范化的操作。
数据清洗：去除空值、脏数据、超过极限范围的
DWB：data warehouse base 数据基础层，存储的是客观数据，一般用作中间层，可以认为是大量指标的数据层。
DWS：data warehouse service 数据服务层，基于DWB上的基础数据，整合汇总成分析某一个主题域的服务数据层，一般是宽表。用于提供后续的业务查询，OLAP分析，数据分发等。
用户行为，轻度聚合
主要对ODS/DWD层数据做一些轻度的汇总。

2.3数据服务层/应用层（ADS）

ADS：applicationData Service应用数据服务，该层主要是提供数据产品和数据分析使用的数据，一般会存储在ES、mysql等系统中供线上系统使用。
我们通过说的报表数据，或者说那种大宽表，一般就放在这里

3.附录

ETL
ETL ：Extract-Transform-Load，用于描述将数据从来源端经过抽取、转换、加载到目的端的过程。
宽表
含义：指字段比较多的数据库表。通常是指业务主体相关的指标、纬度、属性关联在一起的一张数据库表。
特点：
宽表由于把不同的内容都放在同一张表，宽表已经不符合三范式的模型设计规范：
坏处：数据有大量冗余
好处：查询性能的提高和便捷
宽表的设计广泛应用于数据挖掘模型训练前的数据准备，通过把相关字段放在同一张表中，可以大大提供数据挖掘模型训练过程中迭代计算的消息问题。

数据库设计三范式

为了建立冗余较小、结构合理的数据库，设计数据库时必须遵循一定的规则。在关系型数据库中这种规则就称为范式。范式时符合某一种设计要求的总结。

第一范式：确保每列保持原子性，即要求数据库表中的所有字段值都是不可分解的原子值。
第二范式：确保表中的每列都和主键相关。也就是说在一个数据库表中，一个表中只能保存一种数据，不可以把多种数据保存在同一张数据库表中。
作用：减少了数据库的冗余
第三范式：确保每列都和主键列直接相关，而不是间接相关。

数据仓库分层 (ODS、DWD、DWS)相关推荐

数仓数据分层(ODS DWD DWS ADS)
ODS DWD DWS DWS,俗称的数据服务层,也有叫做数据聚合层.不过按照经典数据建模理论,一般称之为前者,也就是数据服务层,为更上层的ADS层或者直接面向需求方服务. DWS建模,一般使用主题建 ...
ODS DWD DWS ADS 数仓分层
数仓分层 ODS:Operation Data Store 原始数据 DWD(数据清洗/DWI ) data warehouse detail 数据明细详情,去除空值,脏数据,超过极限范围的明细解析 ...
数仓ODS,DWD,DWS层
数据仓库中的数据表,往往是分层管理.分层计算的: 所谓分层,具体来说,就是将大量的数据表按照一定规则和定义来进行逻辑划分: ADS层: 应用服务层 DWS层:数仓汇总层 DWD层:数仓明细层 ODS层 ...
数据仓库分层ODS DW DM 主题标签
数据仓库知识之ODS/DW/DM - xingchaojun的专栏 - CSDN博客数据仓库为什么要分层 - 晨柳溪 - 博客园数据仓库的架构与设计 - Trigl的博客 - CSDN博客数据仓 ...
数据分层/ODS/DW/DM
数据分层/ODS/DW/DM 数据分层数据分层的目的 ODS层 (Operational Data Store 又称数据运营层) DW层(data warehouse 数据仓库) DM层 (data ...
数据仓库分层类型-具体实例
数据仓库分层类型架构发明者建模方式[5] 著作数据仓库特点架构图 Kimball Ralph Kimbal 维度建模 The Data Warehouse Toolkit 自底向上 Inmon ...
数据仓库面试题——数据仓库分层
答案来源:大数据面试题V3.0,523道题,679页,46w字问过的一些公司:字节 x 2,字节(2021.07)-(2021.08)-(2021.10),阿里 x 2,爱奇艺,百度 x 2,百度( ...
为什么要对数据仓库分层？
存储在ODS层的数据显然是不能直接使用的,要经过层层处理:如果一步到位计算出各类指标将来业务变化的时候又要重头开始开发一遍,因此数据仓库分层是很有必要的. 数据仓库分层主要有以下几点好处: 1.把复杂 ...
数据仓库之汇总层(DWS)设计概要
数仓为什么要分层合理的数据仓库分层一方面能够降低耦合性,提高重用性,可读性可维护性,另一方面也能提高运算的效率,影响到数据需求迭代的速度,近而影响到产品决策的及时性.建立数据分层可以提炼公共层,避免 ...
Hive数据仓库分层架构
目录一.为什么要进行数据分层?数据分层的好处? 1.原因 2.好处二.hive数仓分为哪几层? 1.ODS层:数据运营层(贴源层) 2.DW层: 数据仓库层 (1)DWD层:数据明细层 (2)DW ...

数据仓库分层 (ODS、DWD、DWS)

数据仓库分层