数仓中的星型模型和雪花模型
1.概念
在多维分析的商业智能解决方案中,根据事实表和维度表的关系,又可将常见的数据模型分为星型模型
和雪花型模型
。在设计逻辑型数据的模型的时候,就应考虑数据是按照星型模型还是雪花型模型进行组织。
当所有维表都直接连接到“ 事实表”上时,整个图解就像星星一样,故将该模型称为星型模型,
星型架构是一种非正规化的结构,多维数据集的每一个维度都直接与事实表相连接,不存在渐变维度,所以数据有一定的冗余。
如在地域维度表中,存在国家 A 省 B 的城市 C 以及国家 A 省 B 的城市 D 两条记录,那么国家 A 和省 B 的信息分别存储了两次,即存在冗余。
当有一个或多个维表没有直接连接到事实表上,而是通过其他维表连接到事实表上时,其图解就像多个雪花连接在一起,故称雪花模型。
雪花模型是对星型模型的扩展。它对星型模型的维表进一步层次化,原有的各维表可能被扩展为小的事实表,形成一些局部的 " 层次 " 区域,这些被分解的表都连接到主维度表而不是事实表。如图 2,将地域维表又分解为国家,省份,城市等维表。
雪花模型的优点是 : 通过最大限度地减少数据存储量以及联合较小的维表来改善查询性能。雪花型结构去除了数据冗余。
此在冗余可以接受的前提下,实际运用中星型模型使用更多,也更有效率(空间换易用与效率)。
2.使用选择
2.1.数据优化
雪花模型使用的是规范化数据,也就是说数据在数据库内部是组织好的,以便消除冗余,因此它能够有效地减少数据量。通过引用完整性,其业务层级和维度都将存储在数据模型之中。
相比较而言,星形模型实用的是反规范化数据。在星形模型中,维度直接指的是事实表,业务层级不会通过维度之间的参照完整性来部署。
2.2.业务模型
主键是一个单独的唯一键(数据属性),为特殊数据所选择。在上面的例子中,Advertiser_ID就将是一个主键。外键(参考属性)仅仅是一个表中的字段,用来匹配其他维度表中的主键。在我们所引用的例子中,Advertiser_ID将是Account_dimension的一个外键。
在雪花模型中,数据模型的业务层级是由一个不同维度表主键-外键的关系来代表的。而在星形模型中,所有必要的维度表在事实表中都只拥有外键。
2.3.性能
第三个区别在于性能的不同。雪花模型在维度表、事实表之间的连接很多,因此性能方面会比较低。举个例子,如果你想要知道Advertiser 的详细信息,雪花模型就会请求许多信息,比如Advertiser Name、ID以及那些广告主和客户表的地址需要连接起来,然后再与事实表连接。
而星形模型的连接就少的多,在这个模型中,如果你需要上述信息,你只要将Advertiser的维度表和事实表连接即可。
2.4.ETL
雪花模型加载数据集市,因此ETL操作在设计上更加复杂,而且由于附属模型的限制,不能并行化。
星形模型加载维度表,不需要再维度之间添加附属模型,因此ETL就相对简单,而且可以实现高度的并行化。
3.总结
通过上面的对比,我们可以发现数据仓库大多数时候是比较适合使用星型模型构建底层数据Hive表,通过大量的冗余来提升查询效率,星型模型对OLAP的分析引擎支持比较友好,这一点在Kylin中比较能体现。而雪花模型在关系型数据库中如MySQL,Oracle中非常常见,尤其像电商的数据库表。在数据仓库中雪花模型的应用场景比较少,但也不是没有,所以在具体设计的时候,可以考虑是不是能结合两者的优点参与设计,以此达到设计的最优化目的。
转载地址:https://www.cnblogs.com/jiangbei/p/8485122.html
数仓中的星型模型和雪花模型相关推荐
- 理解数据仓库中星型模型和雪花模型
在数据仓库的建设中,一般都会围绕着星型模型和雪花模型来设计表关系或者结构.下面我们先来理解这两种模型的概念. (一)星型模型图示如下: 星型模是一种多维的数据关系,它由一个事实表和一组维表组成.每个维 ...
- 数据仓库的星型模型和雪花模型的区别以及优缺点
数据仓库的星型模型和雪花模型 星型模型 星型模型是维度模型最简单的形式,也是数据仓库以及数据集市开发中使用最广泛的形式. 星型模式由事实表和维度表组成,一个星型模式中可以有一个或多个事实表,每个事实表 ...
- 【数据仓库】——星型模型和雪花模型
一.概述 在多维分析的商业智能解决方案中,根据事实表和维度表的关系,又可将常见的模型分为星型模型和雪花型模型.在设计逻辑型数据的模型的时候,就应考虑数据是按照星型模型还是雪花型模型进行组织. 当所有维 ...
- 星型模型和雪花模型 (数据仓库模型)
一.概述 在多维分析的商业智能解决方案中,根据事实表和维度表的关系,又可将常见的模型分为星型模型和雪花型模型.在设计逻辑型数据的模型的时候,就应考虑数据是按照星型模型还是雪花型模型进行组织. 当所有维 ...
- 星形和雪花模型_星型模型和雪花型模型比较
每个数据仓库都包含一个或者多个事实数据表.事实数据表可能包含业务销售数据,如现金登记事务所产生的数据,事实数据表通常包含大量的行.事实数据表的主要特点是包含数字数据(事实),并且这些数字信息可以汇总, ...
- 什么是星型模型和雪花型模型【转载】
在多维分析的商业智能解决方案中,根据事实表和维度表的关系,又可将常见的模型分为星型模型和雪花型模型.在设计逻辑型数据的模型的时候,就应考虑数据是按照星型模型还是雪花型模型进行组织. 当所有维表都直接连 ...
- 星型模型和雪花型模型比较
一.概述 在多维分析的商业智能解决方案中,根据事实表和维度表的关系,又可将常见的模型分为星型模型和雪花型模型.在设计逻辑型数据的模型的时候,就应考虑数据是按照星型模型还是雪花型模型进行组织. 当所有维 ...
- Apache Doris在美团外卖数仓中的应用实践
来自:美团技术团队 美团外卖数据仓库通过MOLAP+ROLAP双引擎模式来适配不同应用场景.MOLAP引擎使用了Apache Kylin.ROLAP我们经过综合考虑,选择了Apache Doris.本 ...
- 数据仓库(3)数仓建模之星型模型与维度建模
维度建模是一种将数据结构化的逻辑设计方法,也是一种广泛应用的数仓建模方式,它将客观世界划分为度量和上下文.度量是常常是以数值形式出现,事实周围有上下文包围着,这种上下文被直观地分成独立的逻辑块,称 ...
最新文章
- pandas计算滑动窗口中的最大值实战(Rolling Maximum in a Pandas Column):计算单数据列滑动窗口中的最大值、计算多数据列滑动窗口中的最大值
- 在Eclipse中安装ADT
- python代码编辑器-世界上最好的Python编辑器是什么?
- python常见错误-python中的错误有什么
- [repost]Xcode因为证书问题经常报的那些错
- NOIP复习资料——往年习题精选
- 无心剑中译马塞尔·普鲁斯特《追忆似水年华》
- inteliJ maven 打包时把依赖的包一起打
- android sdk build tools 版本,SDK Build Tools 版本说明
- 锐捷客户端在linux下的校园网认证
- linux开源监控工具,十款开源免费监控软件
- 视频教程-学透JavaScript-JavaScript
- 浅谈Android测试技术
- Spring之Bean生命周期源码解析
- 合作开发过程产生的专利_合作开发合同和技术联营合同的区别及
- 如何安装Oracle--新手安装Oracle教程
- 技术的真相 | 你真的知道如何实现无人自动化仓储吗?
- LimeSDR入门之软硬件安装
- 发现一个非常好的ftp站点,有大量的程序
- 【STM32学习】实时时钟 —— RTC