大数据理论篇--表分类及同步策略

文章目录

数仓理论
- 1 表的分类
- - 1.1 实体表
  - 1.2 维度表
  - 1.3 事务型事实表
  - 1.4 周期型事实表
- 1.2 同步策略
- - 1.1 实体表同步策略
  - 1.2 维度表同步策略
  - 1.3 事务型事实表同步策略
  - 1.4 周期型事实表同步策略

数仓理论

1 表的分类

1.1 实体表

实体表，一般是指一个现实存在的业务对象，比如用户，商品，商家，销售员等等。

用户表：

用户id  姓名    生日              性别       邮箱    用户等级       创建时间1       张三    2011-11-11       男    zs@163.com         2          2018-11-112      李四    2011-11-11       女    ls@163.com         3          2018-11-113      王五    2011-11-11      中性    ww@163.com         1          2018-11-11

1.2 维度表

维度表，一般是指对应一些业务状态，编号的解释表。也可以称之为码表。
比如地区表，订单状态，支付方式，审批状态，商品分类等等。

订单状态表：

   订单状态编号             订单状态名称1                    未支付2                     支付3                    发货中4                    已发货5                    已完成

商品分类表：

    商品分类编号          分类名称1                 服装2                 保健3                 电器4                 图书

1.3 事务型事实表

事务型事实表，一般指随着业务发生不断产生的数据。特点是一旦发生不会再变化。
一般比如，交易流水，操作日志，出库入库记录等等。
交易流水表：

编号   对外业务编号   订单编号   用户编号       支付宝交易流水编号    支付金额            交易内容          支付类型            支付时间
1       7577697945      1         111       QEyF-63000323        223.00         海狗人参丸1    alipay        2019-02-10 00:50:02
2       0170099522      2         222       qdwV-25111279        589.00         海狗人参丸2    wechatpay     2019-02-10 00:50:02
3       1840931679      3         666       hSUS-65716585        485.00         海狗人参丸3    unionpay      2019-02-10 00:50:02

1.4 周期型事实表

周期型事实表，一般指随着业务发生不断产生的数据。
与事务型不同的是，数据会随着业务周期性的推进而变化。
比如订单，其中订单状态会周期性变化。再比如，请假、贷款申请，随着批复状态在周期性变化。
订单表：

订单编号     订单金额         订单状态       用户id        支付方式          支付流水号           创建时间            操作时间1         223.00          2            111        alipay      QEyF-63000323   2019-02-10 00:01:29 2019-02-10 00:01:292            589.00          2            222        wechatpay   qdwV-25111279   2019-02-10 00:05:02 2019-02-10 00:05:023            485.00          1            666        unionpay    hSUS-65716585   2019-02-10 00:50:02 2019-02-10 00:50:02

1.2 同步策略

数据同步策略的类型包括：全量表、增量表、新增及变化表、拉链表

全量表：存储完整的数据。
增量表：存储新增加的数据。
新增及变化表：存储新增加的数据和变化的数据。
拉链表：对新增及变化表做定期合并。

1.1 实体表同步策略

实体表：比如用户，商品，商家，销售员等
实体表数据量比较小：通常可以做每日全量，就是每天存一份完整数据。即每日全量。

1.2 维度表同步策略

维度表：比如订单状态，审批状态，商品分类
维度表数据量比较小：通常可以做每日全量，就是每天存一份完整数据。即每日全量。
说明：
1）针对可能会有变化的状态数据可以存储每日全量。
2）没变化的客观世界的维度（比如性别，地区，民族，政治成分，鞋子尺码）可以只存一份固定值。

1.3 事务型事实表同步策略

事务型事实表：比如，交易流水，操作日志，出库入库记录等。
因为数据不会变化，而且数据量巨大，所以每天只同步新增数据即可，所以可以做成每日增量表，即每日创建一个分区存储。

1.4 周期型事实表同步策略

周期型事实表：比如，订单、请假、贷款申请等
这类表从数据量的角度，存每日全量的话，数据量太大，冗余也太大。如果用每日增量的话无法反应数据变化。
每日新增及变化量，包括了当日的新增和修改。一般来说这个表，足够计算大部分当日数据的。但是这种依然无法解决能够得到某一个历史时间点（时间切片）的切片数据。
所以要用利用每日新增和变化表，制作一张拉链表，以方便的取到某个时间切片的快照数据。所以我们需要得到每日新增及变化量。
拉链表：

name姓名   start新名字创建时间    end名字更改时间张三          1990/1/1         2018/12/31张小三          2019/1/1         2019/4/30张大三           2019/5/1         9999-99-99

select * from user where start =<’2019-1-2’ and end>=’2019-1-2’