拉链表取某一天的历史快照

拉链表在数仓的应用十分普遍。它会在原始的表字段里面添加两个新的字段：create_time和end_time这两个。这两个字段的日期代表的是这条数据的开始时间和结束时间，也就是数据的生命周期。
我在开发的过程中会有这么一个问题，那就是我要取某一天的数据，有说法是create_time<=XXXX-XX-XX and end_time>=XXXX-XX-XX，也有说法说是：create_time<=XXXX-XX-XX and end_time>XXXX-XX-XX。区别在于end_time的时间是否取等号。这个问题我通过例子来详细理解。
举例：
有一张订单表，6月20号有3条记录：

订单创建日期	订单编号	订单状态	create_time	end_time
2012-06-20	001	创建订单	2012-06-20	4921-12-31
2012-06-20	002	创建订单	2012-06-20	4921-12-31
2012-06-20	003	支付完成	2012-06-20	4921-12-31

到6月21号，表中有6条记录：

订单创建日期	订单编号	订单状态	create_time	end_time
2012-06-20	001	创建订单	2012-06-20	2012-06-21
2012-06-20	001	支付完成	2012-06-21	4921-12-31
2012-06-20	002	创建订单	2012-06-20	4921-12-31
2012-06-20	003	支付完成	2012-06-20	4921-12-31
2012-06-21	004	创建订单	2012-06-21	4921-12-31
2012-06-21	005	创建订单	2012-06-21	4921-12-31

我要取2012-06-21这一天的历史快照数据，
也就是
如果是：create_time<=2012-06-21 and end_time>=2012-06-21
上面整张表里面的数据都可以取到。
如果是：create_time<=2012-06-21 and end_time>2012-06-21
得出的结果是：

订单创建日期	订单编号	订单状态	create_time	end_time
2012-06-20	001	支付完成	2012-06-21	4921-12-31
2012-06-20	002	创建订单	2012-06-20	4921-12-31
2012-06-20	003	支付完成	2012-06-20	4921-12-31
2012-06-21	004	创建订单	2012-06-21	4921-12-31
2012-06-21	005	创建订单	2012-06-21	4921-12-31

少了001创建订单这条数据，所以不取等号，我们取到的数据为这条数据到指定日期当前状态最新的数据。

补充一个新的点：以传统的电商系统为例，我们在单天有一条数据从创建订单到支付完成。离线往往是T+1,我第二天去跑昨天的数据，这时候，到了第二天只会跑这条数据最新的状态，也就是昨天留下来的这条数据是只有支付完成的状态，不会把创建订单这条数据也留下来。

拉链表取某一天的历史快照相关推荐

缓慢变化维解决方案——拉链表实现详解
缓慢变化维--拉链表实现 1.概述 1 缓慢变化维简介缓慢变化维,简称SCD(Slowly Changing Dimensions) 一些维度表的数据不是静态的,而是会随着时间而缓慢地变化(这里的缓 ...
mysql 时间拉链表_拉链表 - 夜半钟声到客船 - 博客园
1.为什么要做拉链表拉链表适用于同步新增和变化的数据!对于周期型事实表,采用同步新增和变化的方式! 使用场景: 1)比如订单状态: 三天内该订单状态发生了变化,但是同一个事物内进行的 2)人的出行轨 ...
三、数据仓库实践-拉链表设计
1 写在开头的话拉链表,学名叫缓慢变化维(Slowly Changing Dimensions),简称渐变维(SCD),俗称拉链表,是为了记录关键字段的历史变化而设计出来的一种数据存储模型,常见于维 ...
数据仓库数据模型之：极限存储--历史拉链表
摘要: 在数据仓库的数据模型设计过程中,经常会遇到文内所提到的这样的需求.而历史拉链表,既能满足对历史数据的需求,又能很大程度的节省存储资源. 在数据仓库的数据模型设计过程中,经常会遇到这样的需求: ...
hql取满足条件最新一条记录_数据仓库怎么做拉链表记录数据变化情况，看看这篇文章就明白了...
小文老师给你讲解数据仓库的ETL拉链算法,通过这篇文档,让你快速了解数据拉链. 一首先我们先来看下,什么是拉链?在数据仓库中,拉链就是记录数据在某一时间区间内的状态以及数据在某一时间点上的数据变化的 ...
数据仓库中历史拉链表的更新方法
原文地址:http://lxw1234.com/archives/2015/08/473.htm 这里简单介绍一下这种历史拉链表的更新方法. 本文中假设: 数据仓库中订单历史表的刷新频率为一天,当天更 ...
hive 分区_Hive下数据仓库历史拉链表如何加工，分区键该如何选择
缓慢变化维说到历史拉链表,首先得说下缓慢变化维. 在现实世界中,维度的属性并不是静态的,而是随着时间的变化而变化,这也体现了数据仓库的特点之一,是反映历史变化的.相对于数据增长较为快速的事实表,维度 ...
Hive数据仓库中历史拉链表实践
数据准备在mysql中创建测试表orders CREATE TABLE `orders` (`orderid` int(11) NOT NULL AUTO_INCREMENT,`status` va ...
greenplum 历史拉链表
3.1 历史拉链表数据仓库定义:是一个面向主题的.集成的.相对稳定的.反映历史变化的数据集合,用于支持管理决策. 历史拉链表:一种数据模型,主要是针对数据仓库设计中表存储数据的方式而定义的.它记录了 ...

拉链表取某一天的历史快照

拉链表取某一天的历史快照相关推荐

最新文章

热门文章