范式建模

3NF

  • 第一范式:保证每列的原子性。即数据库表中的所有字段值都是不可分解的原子值。
  • 第二范式:保证一张表只描述一件事情。即除主键外其他字段完全依赖于主键。
  • 第三范式:不可传递依赖。即表中的字段和主键直接对应不依靠其他中间字段,说白了就是,决定某字段值的必须是主键。

建模方式在范式理论上符合3NF,这里的3NF与OLTP中的3NF还是有点区别的:关系数据库中的3NF是针对具体的业务流程的实体对象关系抽象,而数据仓库的3NF是站在企业角度面向主题的抽象。

优点能够结合业务系统的数据模型,较方便的实现数据仓库的模型;同一份数据只存放在一个地方,没有数据冗余,保证了数据一致性;数据解耦,方便维护。但同时也带来了缺点:表的数量多;查询时关联表较多使得查询性能降低。

ER实体建模

将事务抽象为"实体"(Entity)、“属性”(Property)、“关系”(Relationship)来表示数据关联和事物描述,这种对数据的抽象建模通常被称为ER实体关系模型。用实体关系模型来描述企业业务,并用规范化的方式表示出来,在范式理论上符合3NF

这种建模方法的出发点是整合数据,其目的是将整个企业的数据进行组合和合并,并进行规范处理,减少数据冗余性,保证数据的一致性。这种模型并不适合直接用于分析统计。

维度建模

维度模型将复杂的业务通过事实维度两个概念进行呈现。事实通常对应业务过程,而维度通常对应业务过程发生时所处的环境。维度建模以数据分析作为出发点,为数据分析服务,因此它关注的重点的用户如何更快的完成需求分析以及如何实现较好的大规模复杂查询的响应性能。

优点
  1. 适配大数据的处理方式
    维度模型的非强范式的,可以更好的利用大数据处理框架的处理能力,避免范式操作的过多关联操作,可以实现高度的并行化。数据仓库大多数时候是比较适合使用星型模型构建底层数据Hive表,通过大量的冗余来提升查询效率,星型模型对OLAP的分析引擎支持比较友好,这一点在Kylin中比较能体现。雪花模型在关系型数据库中如MySQL,Oracle中非常常见,尤其像电商的数据库表。
    星型模型和雪花型模型的区别
  2. 自下而上的建设现状
    表已经存在,业务已经开发完毕,需求直接提过来了,这几乎是一个普遍现状,因为很少有公司会提前成立数据部门,让数据部门跟随着业务从头开始一直成长,都是当业务发展到一定的阶段了,想通过数据来提高公司的运营效果
  3. 简单的模型
    这个模型相对来说是比较简单的,简单主要体现在两个方面:
    (1)维度建模非常直观,紧紧围绕着业务模型,可以直观的反映出业务模型中的业务问题。不需要经过特别的抽象处理,即可以完成维度建模。这一点也是维度建模的优势。
    (2)星型结构的实现不用考虑很多正规化的因素,设计与实现都比较简单。

数仓范式建模、ER实体建模和维度建模相关推荐

  1. 数据建模_漫谈数据仓库之维度建模

    点击上方蓝色字体,选择"设为星标" 回复"资源"获取更多惊喜 大数据技术与架构点击右侧关注,大数据开发领域最强公众号! 大数据真好玩点击右侧关注,大数据真好玩! ...

  2. 数据仓库之建模 维度表 事实表 维度建模三种模式 如何维度建模缓慢变化的维度 建模体系

    数据仓库之建模 ER建模 维度表和事实表 维度建模三种模式 如何维度建模 什么是缓慢变化的维度 最常见的三种数据仓库建模体系 联机分析处理 OLAP 元数据(Metadata) 数据仓库建模包含ER建 ...

  3. 浅谈大数据建模的主要技术:维度建模

    文章目录 前言 维度建模关键概念 度量和环境 事实和维度 事实表 维度表 星形架构和雪花架构 维度建模一般过程 1. 选取业务过程 2. 定义粒度 3. 确定维度 4. 确定事实 前言 我们不管是基于 ...

  4. 数仓建模本质到底是什么?为什么维度建能模脱颖而出?

    作者基于多年的大数据处理经验,当前管理着100PB+数据仓库和2000+节点的集群.持续系统化给大家分享一下关于数据仓库建设的经验总结.本系列既有数据仓库的形而上学理论体系,也有结合公司业务的实践,既 ...

  5. 数仓建设保姆级教程,离线和实时一网打尽(理论+实战)

    本文大纲: 因内容较多,带目录的PDF查看是比较方便的,点击下方链接获取完整PDF版: 数仓建设保姆级教程PDF文档 一.数仓基本概念 1. 数据仓库架构 我们在谈数仓之前,为了让大家有直观的认识,先 ...

  6. 【大数据-课程】高途-天翼云侯圣文-Day2:离线数仓搭建分解

    一.内容介绍 昨日福利:大数据反杀熟 今日:数据看板 离线分析及DW数据仓库 明日:实时计算框架及全流程 一.数仓定义及演进史 1.概念 生活中解答 2.数据仓库的理解 对比商品仓库 3.数仓分层内容 ...

  7. 企业级数据仓库:数据仓库概述;核心技术框架,数仓理论,数据通道Hive技术框架,HBase设计,系统调度,关系模式范式,ER图,维度建模,星型/雪花/星座模式,数据采集同步,业务数据埋点,数据仓库规范

    文章目录 第一章 数据仓库概述 1.1 数据仓库简介 1.1.2 什么是数据仓库? 1.1.3 OLTP 与 OLAP 1.2 数据仓库技术架构 1.3 课程目标 第二章 核心技术框架 2.1 数据仓 ...

  8. 数仓建模(维度建模)

    目录 一.什么是建模?(为什么建模) 二.模型的好处 三.建模的方法 四.维度建模 4.1 基本概念 4.2 为啥选择维度建模(优缺点) 4.2.1 优点 4.2.2 缺点 4.3 维度建模-星型模型 ...

  9. 数据仓库知识点总结(数仓分层建模、维度建模等)

    数据仓库知识点总结 推荐学习<华为数据之道><数据仓库工具箱-维度建模权威指南>两本书. 此文档是数据仓库建模的知识点总结文档,在持续更新中(2021-10-13). 文章目录 ...

最新文章

  1. ISE 14.7安装教程最新版(Win10安装)——解决Win10安装完后打不开快捷方式的方法
  2. 大作文_p2_v1.0
  3. 【微信小程序】——实战开发之和风(含demo)
  4. 数据类型,运算符和表达式02 - 零基础入门学习C语言03
  5. 配置网络测试环境的批处理
  6. CSDN 十大技术主题盘点-云原生篇
  7. iOS ReactiveCocoa 最全常用API整理
  8. Atitit SOW项目工作说明书 目录 1. SOW工作说明书(Statement of Work,简称SOW) 1 2. 项目工作范围 1 3. 工作期限和工作量估计 1 4. 交付成果(源码
  9. 犀牛6.0grasshopper翻译插件_Rhino 6.0犀牛三维建模 软件下载安装包教程(附下载方法)...
  10. win7 64bit部署SharePoint Server2010
  11. 反距离加权插值IDW计算详细步骤
  12. 人生的苦难需要时间去磨练
  13. 云计算和虚拟化的关系
  14. vm安装win xp镜像遇到的安装问题之一
  15. 农夫安全-安全网站导航 farmsec
  16. SQL语法INSERT INTO_大数据培训
  17. 新年里真挚的情怀共祝愿南阳好
  18. 线极化波的matlab仿真过程,基于MATLAB的电磁波极化波仿真教学
  19. vue遇到的小问题,封装功能
  20. 冰湖,风筝,喜鹊,跳水台

热门文章

  1. java jquery时间问候语_使用Date日期对象来完成,在页面上根据不同时间显示不同的问候语,如:早上好,中午好,下午好,晚上好等信息...
  2. 29篇论文简介,含人脸安全、图像分割、目标检测等多个研究方向
  3. 情迁QQ机器人安装包开源
  4. golang中mysql建立连接超时时间timeout 测试
  5. Arduino STM32制作教程
  6. Vue3 简介及入门实例
  7. ITU-T G.8261 解读(一)
  8. 蒸汽机器人布里茨天赋_lolS7蒸汽机器人 布里茨怎么出装_lolS7机器人天赋出装推荐_玩游戏网...
  9. 骰子算法 php,C++_C++实现N个骰子的点数算法,本文实例讲述了C++实现N个骰子 - phpStudy...
  10. JS--撤销恢复,简单的想法。