数据分层/ODS/DW/DM

数据分层
- 数据分层的目的
- ODS层（Operational Data Store 又称数据运营层）
- DW层（data warehouse 数据仓库）
- DM层 (data market 数据集市）

数据分层

数据分层的目的

我们对数据进行分层的一个主要原因就是希望在管理数据的时候，能对数据有一个更加清晰的掌控，详细来讲，主要有下面几个原因：1.清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。
2.数据血缘追踪：简单来讲可以这样理解，我们最终给业务诚信的是一能直接使用的张业务表，但是它的来源有很多，如果有一张来源表出问题了，我们希望能够快速准确地定位到问题，并清楚它的危害范围。
3.减少重复开发：规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算。
4.把复杂问题简单化。讲一个复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单和容易理解。而且便于维护数据的准确性，当数据出现问题之后，可以不用修复所有的数据，只需要从有问题的步骤开始修复。
5.屏蔽原始数据的异常。
6.屏蔽业务的影响，不必改一次业务就需要重新接入数据。

ODS层（Operational Data Store 又称数据运营层）

ods 又称数据运营层，Operational Data Store 层，数据来源包括:
1. sqoop 数据导入
2. canal 监控mysql binlog 实时导入
3. flume/网关  --> kafaka --> flink/streaming 流导入ods层数据并非完全的原始数据，而是要考虑一定的数据清洗，比如异常字段的处理、
字段命名规范化、时间字段的统一等处理后的结果。

DW层（data warehouse 数据仓库）

DW数据分bai层，由下到上为 DWD,DWB,DWS
DWD：dudata warehouse detail 细节数据层，有的也称为 ODS层，是业务层dao与数据仓库的隔离层
DWB：data warehouse base 基础数据层，存储的是客观数据，一般用作中间层，可以认为是大量指标的数据层。
DWS：data warehouse service 服务数据层，基于DWB上的基础数据，整合汇总成分析某一个主题域的服务数据，一般是宽表。
1.如果 ods 层的数据就非常规整，基本能满足我们绝大部分的需求，这当然是好的，这时候 dwd 层其实也没太大必要。 但是现实中接触的情况是 ods 层的数据很难保证质量，毕竟数据的来源多种多样，推送方也会有自己的推送逻辑，在这种情况下，我们就需要通过额外的一层 dwd 来屏蔽一些底层的差异。
2.DWB层是面向主题的，数据仓库中数据是按照一定主题领域进行组织的，每一个主题对应一个宏观分析领域，
3.DWS层可以理解成 dw到dm的过度，是一些宽表汇总，有些可以理解成dm层dw理解：
1.dw主要提供查询服务，并且需要查询能够及时响应。
2.进入dw的数据应该是能唯一的具有权威性的数据，企业的系统只能使用从dw提供的被认可的数据，所以预先做好企业的元数据建立非常必要。
3.定期需要对dw里面的数据进行质量检查，保证dw里面的数据唯一、权威、准确。
4.dw的数据也是只允许增加不允许删除和修改，数据仓库主要是提供查询服务，删除和修改在分布式系统中会消耗大量的性能资源。

DM层 (data market 数据集市）

数据集市，以某个业务应用为出发点而建设的局部dw，dw只关心自己需要的数据，不会全盘考虑企业整体的数据架构和应用。每个应用有自己的dmdm理解：
1.dm结构清晰、针对性强、扩展性好，因为dm仅仅是单对某一个领域而建立，容易维护和修改。
2.dm建设任务繁重，公司有众多业务每一个业务单独加建立工作量集合增加啊。
3.dm的建立消耗更多存储空间，单独一个dm可能数据量不大，但是企业所有领域都建立dm数据量就会增加很多倍。

数据分层/ODS/DW/DM相关推荐

数据仓库分层ODS DW DM 主题标签
数据仓库知识之ODS/DW/DM - xingchaojun的专栏 - CSDN博客数据仓库为什么要分层 - 晨柳溪 - 博客园数据仓库的架构与设计 - Trigl的博客 - CSDN博客数据仓 ...
知识点 | 数据仓库中的 ods ,dw,dm分别是个啥？
先看一下数据中心的整体架构以及数据流向: DB 是现有的数据来源,可以为mysql.SQLserver.Oracle.Mongodb.PostgreSQL.文件日志等,为数据仓库提供数据来源的一般存在 ...
ods,dw,dm理解
ods,dw,dm解释与理解 ods:操作性数据仓库ods的应用场景 1.在业务系统和数据仓库之间形成一个隔离,ods直接存放从业务系统抽取过来的数据,这些数据从结构和数据上与业务系统保持一致,降低了 ...
数据仓库中的 ods ,dw,dm分别表示什么？
版主整理的很详细,容易理解.查看原文,请点击这里 ODS--操作性数据 DW--数据仓库 DM--数据集市 1.数据中心整体架构数据中心整体架构数据仓库的整理架构,各个系统的元数据通过ETL同步到 ...
对数据仓库ODS DW DM的理解
今天看了一些专业的解释,还是对ODS.DW和DM认识不深刻,下班后花时间分别查了查它们的概念. ODS--操作性数据 DW--数据仓库 DM--数据集市 1.数据中心整体架构数据中心整体架构数据仓 ...
数仓数据分层(ODS DWD DWS ADS)
ODS DWD DWS DWS,俗称的数据服务层,也有叫做数据聚合层.不过按照经典数据建模理论,一般称之为前者,也就是数据服务层,为更上层的ADS层或者直接面向需求方服务. DWS建模,一般使用主题建 ...
大数据基础知识科普--数据分层（ETL、ODS、DW、DWD、DWM、DWS、DIM）
零.数据加载层:ETL(Extract-Transform-Load) 一.数据运营层:ODS(Operational Data Store) 二.数据仓库层:DW(Data Warehouse) 1 ...
数据仓库ods层是啥意思_数据仓库和数据分层
数据仓库,Data Warehouse,可简写为DW或DWH.是面向主题的.集成的(非简单的数据堆积).相对稳定的.反应历史变化的数据集合,数仓中的数据是有组织有结构的存储数据集合,用于对管理决策过程 ...
数据仓库DW、ODS、DM及其区别
一.基本概念 DW 数据仓库(Data Warehouse):是一个面向主题的(Subject Oriented).集成的(Integrated).相对稳定的(Non-Volatile).反映历史变化 ...

数据分层/ODS/DW/DM

数据分层/ODS/DW/DM

数据分层

数据分层的目的

ODS层（Operational Data Store 又称数据运营层）

DW层（data warehouse 数据仓库）

DM层 (data market 数据集市）

数据分层/ODS/DW/DM相关推荐

最新文章

热门文章

数据分层/ODS/DW/DM

数据分层/ODS/DW/DM

数据分层

数据分层的目的

ODS层 （Operational Data Store 又称数据运营层）

DW层（data warehouse 数据仓库）

DM层 (data market 数据集市）

数据分层/ODS/DW/DM相关推荐

最新文章

热门文章

ODS层（Operational Data Store 又称数据运营层）