数据仓库分层的原因和好处

2024-05-12 04:14:22

按照数据流入流出的过程，数据仓库架构可以分为三层--源数据、数据仓库、数据应用。

数仓分层原因

1、用空间换时间
通过大量的预处理来提升应用系统的用户体验(效率)，因此数据仓库会存在大量的冗余数据；
2、增强扩展性
不分层的话，如果源业务系统的业务规则发生变化将会影响整个数据清洗过程，工作量巨大；
3、分层管理
通数据分层管理可以简化数据清洗的过程，因为把原来的一步工作分到了多个步骤去完成，相当于把一个复杂的工作拆成了多个简单的工作，把一个大的黑盒变成了一个白盒，每一层的处理逻辑都相对简单和容易理解，这样我们比较容易保证每一个步骤的正确性，当数据发生错误时，往往我们只需要局部调整某个步骤即可。

数仓分层好处

1、清晰数据结构
每一个数据分展都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。方便数据血缘追踪。简单来说，我们最终给业务呈现的是一个能直接使用业务表，但是它的来源有很多，如果有一张来源表出问题，我们希望能够快速准确地定位到问题，并清楚它的危害范围。
2、把复杂问题简单化
将一个复杂的任务分解成多个步骤来完成，每一层只处理单一的部分，比较简单和容易理解。而目便干维护数据的准确性，当数据出现问题之后，可以不用修复所有的数据，只需要从有问题的步骤开始修复。

3、减少重复开发

规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算。

4、屏蔽原始数据的异常
屏蔽业务的影响，不必改一次业务就需要重新接入数据

数据仓库分层的原因和好处相关推荐

数据仓库分层的原因多维数据模型元数据技术
韩亚飞_yue31313_韩梦飞沙 QQ:313134555 数据仓库分层的原因编号要点描述 1 提高效率通过数据预处理提高效率,因为预处理,所以会存在冗余数据 2 应对变化如果不分层而业务 ...
oracle 数据立方_大数据之数据仓库分层
大数据之数据仓库分层 1. 什么是数据分层? 2. 数据分层的好处一种通用的数据分层设计 3. 举例 4. 各层会用到的计算引擎和存储系统 5. 分层实现 6.数据分层的一些概念说明 7.大数据相关 ...
数仓（四）数据仓库分层
上一节我们了解了数仓中常见的两大建模体系:关系建模和维度建模,并论述了维度建模的4个步骤. 数仓(二)关系建模和维度建模数仓(三)简析阿里.美团.网易.恒丰银行.马蜂窝5家数仓分层架构其实数仓建模 ...
数据仓库面试题——数据仓库分层
答案来源:大数据面试题V3.0,523道题,679页,46w字问过的一些公司:字节 x 2,字节(2021.07)-(2021.08)-(2021.10),阿里 x 2,爱奇艺,百度 x 2,百度( ...
为什么要对数据仓库分层？
存储在ODS层的数据显然是不能直接使用的,要经过层层处理:如果一步到位计算出各类指标将来业务变化的时候又要重头开始开发一遍,因此数据仓库分层是很有必要的. 数据仓库分层主要有以下几点好处: 1.把复杂 ...
16-数据仓库之数据建模、数据建模表的分类、数据建模步骤、数据分层的原因和优点
九.数据仓库 9.1 数据处理方式 9.1.1 OLTP 定义理解 OLTP的全称是On-line Transaction Processing,中文名称是联机事务处理特点主要用于管理事物,用来处 ...
一种通用的数据仓库分层方法
0x00 概述数据分层是数据仓库设计中十分重要的一个环节,优秀的分层设计能够让整个数据体系更易理解和使用.而目前网络中大部分可以被检索到相关文章只是简单地提及数据分层的设计,或缺少明确而详细的说明, ...
数据仓库物理分层_大数据之数据仓库分层
大数据之数据仓库分层什么是数据分层? 数据分层的好处一种通用的数据分层设计举例各层会用到的计算引擎和存储系统分层实现数据分层的一些概念说明 7.大数据相关基础概念 1. 什么是数据分层? ...
数据仓库dw层_数据仓库分层之辩
前言,这篇文章最早见过是在2009年的某一个论坛上并保存了下来, 今天发出来读了一遍,不禁思考本质上这些年我们到底进步了什么? 数据仓库的分层可以算是数据仓库架构的子话题.在前段时间参与的一次讨论中, ...
数据仓库分层和元数据管理
数仓的分层架构按照数据流入流出的过程,数据仓库架构可分为三层--源数据.数据仓库.数据应用. 数据仓库的数据来源于不同的源数据,并提供多样的数据应用,数据自下而上流入数据仓库后向上层开放应用,而数据 ...

最新文章

热门文章