数仓维度建模之维度表技术基础

01 维度表结构

组成结构：

主键 + 维度属性

名词解释：

主键：作⽤是与事实表的外键进⾏关联。

维度属性：是⽤于描述维度特性的字段，⼀般作为 group by分组查询的条件。

举个例⼦：

时间维度表时间id在时间维度表⾥作为主键存在，事实表中也存在⼀个时间id与之关联，得到时间维度的⼀些维度属性

02 ⼀致性维度

概念：

当不同的维度表的属性具有相同列名和领域内容时，称维度表具有⼀致性。利⽤⼀致性属性与每个事实表关联，可将来⾃不同事实表的信息合并到同⼀报表中。

理解：

在总线架构设计时，可能会在多个数据集市中都存在相同的维度，为了使这些数据集市的维度统⼀，就产⽣了⼀致性维度。

两个维度如果有关系，要么就是完全⼀样的，要么就是⼀个维度在数学意义上是另⼀个维度的⼦集。

⼀致性维度的内容和普通维度并没有本质上区别，都是经过数据清洗和整合后的结果。

举个例⼦：

⽤⼾维度表⼀共有3个来源的⽤⼾基础数据，⼀个是来源腾讯课堂⽤⼾，⼀个来源于⼩鹅通⽤⼾，⼀个来源于⾃⼰平台的⽤⼾数据。在总线架构设计时，⽤⼾维度表作为我们各主题库的公共维度，需要保持⼀致性原则，汇总成⼀张维度表。

1、统⼀标识⾸先定义统⼀标识（zhihu_id）⽤⼾，进⾏编码⽅式、数据格式的统⼀。

2、匹配不同数据源将 3 个不同数据源的⽤⼾编码分别与⽤⼾统⼀标识（zhihu_id）进⾏匹配，可以根据⾃⼰平台的uid、微信的union_id或者⼿机号进⾏匹配，最终来源于不同数据源的⽤⼾只存⼀条数据，对⽤⼾进⾏了统⼀，后期根据⽤⼾属性分组查询都可关联这张⽤⼾维度表，即实现了维度的⼀致性。

03 维度代理键

概念：

维度表中的主键，不是操作系统的⾃然键，因为维度的⾃然键可能由多个源系统建⽴，会出现兼容问题，所以需要⼀个代理键，进⾏维度的统⼀，⼀般是由1 开始的数值类型组成。

举个例⼦：

去年 IPhone12 的标价是 649 美元，但今年变成了 749美元。在订单系统中，只要在主产品清单⾥将标签才从649美元改成749美元，新的订单就会使⽤新的价格。

在数据仓库中，则需要考虑历史因素。假设 IPhone12总是按749美元销售的还是反映去年的价格是649美元的相关情况。如果简单的使⽤应⽤程序键来代替IPhone12就没有过多的选择。

然⽽，如果有预⻅性的为该产品创建了代理键，当标价变化时，只需要⽤新的代理键来创建新的记录，来表⽰完全相同但只是更贵的IPhone12，同时将应⽤程序键作为另⼀个属性保存。对单个产品、顾客或其他维度成员来创建多个实例（instance），这得益于代理键的使⽤。

⽇期维度不需要遵守代理键规则，因为⽇期维度上⾼度可预测的且稳定的维度。

04 维度下钻

下钻可以理解成增加维的层次，从⽽可以由粗粒度到细粒度来观察数据。⽐如对产品销售情况分析时，可以沿着时间维从年到⽉到⽇更细粒度的观察数据；对⽤⼾分布情况分析时，可以按照地域维度从省到市到区更细粒度的分析。

05 退化维度

理解：

将维度退化到事实表中，减少事实表和维度表的关联。

退化维度⼀般都是事务的编号，如订单编号、发票编号等。这类编号需要保存到事实表中，但是不需要对应的维度表，所以称为退化维度。

退化维度经常会和其他⼀些维度⼀起组合成事实表的主键。事实表应该保存最细粒度的数据，所以对于销售这样的事实表来说，需要销售单编号和产品来共同作为主键，⽽不能⽤销售⽇期、商场、产品等⽤来分析的维度共同作为主键。退化维度在分析中可以⽤来做分组使⽤。它可以将同⼀个事务中销售的产品集中在⼀起。

因为事实表主键的成员⼀般都是维度值所组成,但退化维度虽然也属于主键值,但没有单独的维度表,所以叫退化维度。

06 缓慢变化维

概念：

随着时间可能会缓慢变化的维度，就是缓慢变化维。并且把处理维度表的历史变化信息的问题称为处理缓慢变化维的问题，有时也简称为处理SCD的问题。

举个例⼦：

假设有这样⼀条数据：

id	name	city
1001	张三	北京

现在张三离开北京，前往深圳分公司⼯作，所以需要对city数据进⾏更新，由于城市信息⼀般不会改变，这种就属于处理缓慢变化维的问题。

3种简单的处理⽅法：
第⼀种：直接覆盖原值

id	name	city
1001	张三	深圳

这样处理，最容易实现，但是没有保留历史数据，⽆法分析历史变化信息

第⼆种：添加维度⾏当有维度属性发⽣变化时，⽣成⼀条新的维度记录，如下：

id	name	city
1001	张三	北京
1001	张三	深圳

但是这样，当与别的表通过id关联时，有两个1001 的id数据，这样是有问题的；所以就需要代理键的⽀持。（在数据仓库的术语⾥⾯，这个唯⼀标识数据仓库表记录的键我们称之为 Surrogate Key 代理键）

sk_id	id	name	city
001	1001	张三	北京
002	1001	张三	深圳

现在每条数据都唯⼀，但⼜⼀个问题，现在不知道哪个是当前在⽤的数据，虽然可以通过代理键找最⼤的（因为主键往往是⾃增的，最⼤的通常是最新的数据），但某些情况下要插⼊历史数据就不好找了，所以在维度表中加⼊时间序列,⽤NULL来标识哪条是当前最新数据，有变化再进⾏更新。

sk_id	id	name	city	start_time	end_time
001	1001	张三	北京	2021-09-01	2021-09-04
002	1001	张三	深圳	2021-09-04	NULL

第三种：添加属性列

id	name	cur_city	old_city
1001	张三	深圳	北京

这种⽅式的优点是，可以同时分析当前及前⼀次变化的属性值 sk_id

总结：在实际建模中，我们可以联合使⽤三种⽅式，也可以对⼀个维度表中的不同属性使⽤不同的⽅式；这些都是需要根据实际情况来决定，但⽬的都是⼀样的，就是能够⽀持⽅便的分析历史变化情况。

07 杂项维度

概念：

杂项维度是对低粒度标志和指标的分组。与其为每个标识或属性定义不同的维度，不如建⽴单独的将不同维度合并到⼀起的杂项维度。并不是所有属性可能值的笛卡尔积都是需要的，只需要业务实际中发⽣的情况的合并值。

举个例⼦：

⽐如不同的字段，假如有 3 个：是否学⽣，是否运动，是否南⽅⼈，这三个字段的枚举值按照实际发⽣在元数据中的值进⾏拼接到⼀个字段或者分别作为三个字段在⼀⾏中呈现（应该是有9种组合）。

--------------------------------------------------------- END -----------------------------------------------------------------

我是⼩码良，5年⼤数据开发经验，⼤数据架构师，从0到1搭建数仓经验丰富。现在在做离线数仓和内容推荐相关内容，欢迎⼀起交流学习、⽣活各⽅⾯的问题，⼀起加油进步！我们微信交流群还在建设当中，⾥⾯包括BAT等⾏业⼤佬，在⻛趣幽默的交流同时，提升⾃⼰对⾏业内新技术以及主流技术的认知和了解。
要想获取更多的大数据相关内容，敬请关注微信公众号’小码良’