数据仓库(4)基于维度建模的数仓KimBall架构

基于维度建模的KimBall架构，将数据仓库划分为4个不同的部分。分别是操作型源系统、ETL系统、数据展现和商业智能应用，如下图。

操作型源系统，指的就是面向用户的各类系统，如app、网站、ERP、CRM等系统。这一块就是我们数据仓库的数据来源，并且这类数据往往有各自的格式和内容，我们同步过来之后，需要对数据进行清洗和规范化。

ETL系统，指的就是获取、转换、加载的(Extract Transformation and Load)过程以及在etl过程中使用到的数据和数据结构这样的一个过程的集合。也就是包含etl脚本，以及etl中的数据，以及对应的结构。

ETL过程中的获取，指的是数据的同步，转换指的是对数据进行转换操作，因为数据同步过来之后，数据的格式可能不是我们想要的，数据可能有一些缺漏，数据格式可能不一致等，所以这一步，我们需要对数据进行消除拼写错误、解决领域冲突、处理错误的数据、解析为标准的格式等。加载，指的就是经过转换的数据，我们加载到我们的目标路径或者目标表之中。一般有维度建模和范式建模的表中，kimball架构使用的是维度建模。

数据展现，指的就是用户组织、存储数据，支持开发者对数据进行查询，制作报表等。数据展现中的数据，必须是维度化的、原子的，以业务过程为中心的。坚持使用总线结构的企业数据仓库，数据不应该按照个别部门需要的数据来构建。

商业智能应用，指的是开发这基于数据展现，开发出报表或者自主查询，为商业用户提供数据支持，数据分析等。商业智能应用与数据展现的区别，就是一个是针对开发者的，往往是数据库级别的展现，而商业智能应用往往是界面化的是针对普通用户的。

参考文章：数据仓库(4)基于维度建模的数仓KimBall架构

数据仓库(4)基于维度建模的数仓KimBall架构相关推荐

数仓维度建模系列-数仓规范篇
本系列将持续更新数仓建模相关知识,将学习到的理论知识和工作实践结合起来,总结沉淀下来,积跬步成千里. 上一篇介绍了维度建模体系的搭建,这次来分享下搭建数据仓库涉及的各种规范. 分享我工作中遇到的一个小 ...
数据仓库(5)数仓Kimball与Inmon架构的对比
数据仓库主要有四种架构,Kimball的DW/BI架构.独立数据集市架构.辐射状企业信息工厂Inmon架构.混合Inmon与Kimball架构.不过不管是那种架构,基本上都会使用到维度建模. Kimb ...
数据仓库(基础篇）——基于维度建模思想
大家好,我是不温卜火,是一名计算机学院大数据专业大三的学生,昵称来源于成语-不温不火,本意是希望自己性情温和.作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己 ...
【电商数仓】关系建模与维度建模、维度表和事实表、几种维度模型、数仓建模原则
文章目录 1 关系建模与维度建模 (1)关系建模 (2) 维度建模 2 维度表和事实表 (1)维度表 (2)事实表事务型事实表周期型快照事实表累积型快照事实表 3 维度模型分类 (1)星型模型 ...
数据仓库-基础知识(维度建模)
一.数据仓库概述 1.1 数据仓库定义数据仓库:Data Warehouse,是为企业所决策制定过程,提供所有支持类型的数据集合.用于分析性报告和决策支持.数仓是一个面向主题.集成的.相对稳定.反应 ...
数据仓库系列——3.维度建模概述及案例
概述数据仓库包含的内容很多,它可以包括架构.建模和方法论.对应到具体工作中的话,它可以包含下面的这些内容: 以Hadoop.Spark.Hive等组建为中心的数据架构体系. 各种数据建模方法,如维度 ...
数据仓库实战（一）：数仓分层分域规范
笔者多年身处一线互联网独角兽企业,主导过数据仓库从0到1的建设,同时作为数据中台核心成员,在巨头合并,大数据融合及迁移过程中起到至关重要的作用.对数据中台及数据中泰产品有一定研究,抱着分享与自我成长的 ...
数据仓库工具箱：维度建模权威指南3
数据仓库工具箱:维度建模权威指南3 零售业务维度模型设计的4步选择业务过程声明粒度确定维度(列名带有key后缀) 确定事实零售业务案例研究可加事实不可加事实维度表设计细节日期维度(还 ...
数据仓库系列之维度建模
上一篇文章我已经简单介绍了数据分析中为啥要建立数据仓库,从本周开始我们开始一起学习数据仓库.学习数据仓库,你一定会了解到两个人:数据仓库之父比尔·恩门(Bill Inmon)和数据仓库权威专家Ralp ...

数据仓库(4)基于维度建模的数仓KimBall架构

数据仓库(4)基于维度建模的数仓KimBall架构相关推荐

最新文章

热门文章