数据仓库ODS层的作用
ODS（Operational Data Store）是数据仓库体系结构中的一个可选部分，ODS具备数据仓库的部分特征和OLTP系统的部分特征，它是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。
一般在带有ODS的系统体系结构中，ODS都设计为如下几个作用：
1）在业务系统和数据仓库之间形成一个隔离层
一般的数据仓库应用系统都具有非常复杂的数据来源，这些数据存放在不同的地理位置、不同的数据库、不同的应用之中，从这些业务系统对数据进行抽取并不是一件容易的事。因此，ODS用于存放从业务系统直接抽取出来的数据，这些数据从数据结构、数据之间的逻辑关系上都与业务系统基本保持一致，因此在抽取过程中极大降低了数据转化的复杂性，而主要关注数据抽取的接口、数据量大小、抽取方式等方面的问题。
2）转移一部分业务系统细节查询的功能
在数据仓库建立之前，大量的报表、分析是由业务系统直接支持的，在一些比较复杂的报表生成过程中，对业务系统的运行产生相当大的压力。ODS的数据从粒度、组织方式等各个方面都保持了与业务系统的一致，那么原来由业务系统产生的报表、细节数据的查询自然能够从ODS中进行，从而降低业务系统的查询压力。
3）完成数据仓库中不能完成的一些功能
一般来说，带有ODS的数据仓库体系结构中，DW层所存储的数据都是进行汇总过的数据，并不存储每笔交易产生的细节数据，但是在某些特殊的应用中，可能需要对交易细节数据进行查询，这时就需要把细节数据查询的功能转移到ODS来完成，而且ODS的数据模型按照面向主题的方式进行存储，可以方便地支持多维分析等查询功能。
在一个没有ODS层的数据仓库应用系统体系结构中，数据仓库中存储的数据粒度是根据需要而确定的，但一般来说，最为细节的业务数据也是需要保留的，实际上也就相当于ODS，但与ODS所不同的是，这时的细节数据不是“当前、不断变化的”数据，而是“历史的，不再变化的”数据。
数据仓库ODS层的作用相关推荐
- 数据仓库ods层是啥意思_一文读懂大数据仓库建设
文章标签: 数据仓库ods层是啥意思 版权 从传统数仓到大数据平台,MPP数据集市,Hadoop集群,还有混合架构数仓,一直在不断演进,但是万变不离其宗,大框架和方法论终归是那一套.所以本文就来分享数 ...
- 数据仓库ods层是啥意思_数据仓库和数据分层
数据仓库,Data Warehouse,可简写为DW或DWH.是面向主题的.集成的(非简单的数据堆积).相对稳定的.反应历史变化的数据集合,数仓中的数据是有组织有结构的存储数据集合,用于对管理决策过程 ...
- 数据仓库ods层是啥意思_数据仓库中的ODS、EDW、和DM层是什么？（系列3）
在第一节内容,提到了数据仓库和数据库的区别,数据仓库作主要面向分析场景的数据库,又进行了"分层"的设计,因此出现了ods层.edw.dm层的设计(也有的公司会使用超过3层的设计模式 ...
- 数据仓库之ODS层设计概要
ODS层辨析 ODS全称是Operational Data Store,即操作数据存储. Inmon VS Kimball Bill.Inmon的定义:ODS是一个面向主题的.集成的.可变的.当前的细 ...
- 数据仓库各层到底在做什么？(ODS,DWD,DWM,DWS,ADS)
文章目录 源数据层(ODS) 数据仓库层(DW) DWD明细层 DWM 中间层 DWS 业务层 数据应用层(ADS或DA或APP) 维表层(DIM) 源数据层(ODS) 此层数据无任何更改,直接沿用外 ...
- 数据仓库之【用户行为数仓】06：【dwd层】明细数据层：清洗ods层之后的数据
一.dwd层分析 下面我们来创建dwd层: 针对ods层表中的数据进行清洗,参考数据清洗规则,按照实际情况对数据进行清洗. 注意:如果清洗规则使用SQL可以实现,那么就使用SQL实现数据清洗,如果清洗 ...
- 数据仓库dw层_数据仓库分层之辩
前言,这篇文章最早见过是在2009年的某一个论坛上并保存了下来, 今天发出来读了一遍,不禁思考本质上这些年我们到底进步了什么? 数据仓库的分层可以算是数据仓库架构的子话题.在前段时间参与的一次讨论中, ...
- 数据仓库—stg层_数据仓库之Hive快速入门 - 离线实时数仓架构
数据仓库VS数据库 数据仓库的定义: 数据仓库是将多个数据源的数据经过ETL(Extract(抽取).Transform(转换).Load(加载))理之后,按照一定的主题集成起来提供决策支持和联机分析 ...
- 数仓（六）从0到1简单搭建数仓ODS层(埋点日志 + 业务数据)
数仓(一)简介数仓,OLTP和OLAP 数仓(二)关系建模和维度建模 数仓(三)简析阿里.美团.网易.恒丰银行.马蜂窝5家数仓分层架构 数仓(四)数据仓库分层 数仓(五)元数据管理系统解析 最近工作一 ...
最新文章
- linux mysql c语言编程,在Linux下通过C语言操作MySQL数据库
- 部署虚拟服务器,把网站部署到虚拟服务器
- spark如何防止内存溢出_spark开发十大原则
- IntelliJ IDEA 建空包合并问题。
- 【转】蓝牙物理链路类型：SCO和ACL链路
- 利用python爬虫(案例2)--X凰的一天
- [蓝桥杯][2019年第十届真题c/c++B组]完全二叉树的权值
- linux添加sshkey,使用SSH密钥对连接Linux实例
- JS+XMLDOM+XSL：实现中英文界面切换、排序、分页显示、增删改查XML文件数据源
- python 命令模式_python设计模式（十六）：命令模式-阿里云开发者社区
- TI-TMS320F28335学习详解(1)::DSP是什么
- ligerui combobox ajax,jquery ligerUI中ligerComboBox 初始值有关问题
- 空间几何变换知识点——摘自《机器视觉研究与发展》赵彭
- 8通道250MSPS 14位AD采集FMC子卡
- 各种机器学习分类模型的优缺点
- 为什么到苹果官方售后更换电池，要求用户退出ID呢？
- Struts Tiles 框架概述
- java抓取网站数据
- ppc64le处理器国产power8服务器CentOS7.2安装open-jdk
- Java SE学习之路