不登高山不知天之高也，不临深溪不知地之厚也

序

一句话道出求知的路劲，要想知道这个东西难不难只有去行动，去攀登。接下来在这里比较简单的讲讲数仓中的拉链表

拉链表作为处理历史数据的非常常用的表，掌握拉链表可以说掌握了数仓开发的核心，废话不多说，直接进入正题。

拉链表定义

可参考百度不详细说明，主要是记录某些数据特征在某一段时间内持续的状态

拉链表特征

开始时间和结束时间两个字段;
需要生成1-2个标志全表字段的字段，根据该字段进行数据变化的判断，如：MD5_FILED(存主键)和NON_MD5_FIELD（存主键以外的必要业务字段）；
MD5生成可以如下：select listagg(to_char(column_name)) from user_table_columns left join user_cons_columns on t2.position is not null where columnname not in (技术字段)
主键业务主键和开始时间；
辅助字段，跑批时间、跑批字段、跑批批次等

拉链表加工

重跑机制

删除当前批次之后开链的数据

delete from 表 where start_date >=batch_date and jobname = '123'

回退闭链的数据

update 表 set end_date = date'29991231',load_date = sysdate,del_flag = '未删除状态'where end_date>= batch_date and end_date <> date'29991231'and jobname = '123'

逻辑加工

增量数据插入临时表（逻辑加工阶段）
更新临时表加密字段（fn_md5()函数加密成32位，char类型）

update 表 set md5_field = fn_md5()

删除临时表没有变化的数据

delete from 临时表 t where t.del_flag = '未删除标示符' and exists（select 1from 表 tt where tt.md5 = t.md5 and tt.startdate <= batchdate and tt.enddate > batchdate）

闭链删除的数据

update 表 tt set enddate =batchdate，loaddate = sysdate，delflag=‘删除’where exists（select 1 from 临时表 t where delflag=‘删除’ tt.主键= t.主键）and tt.startdate <= batchdate and tt.enddate > batchdate）

闭链修改的数据

merge into 表 ttusing（select * from 临时表 t delflag =‘未删除’）ton（t.主键 = tt.主键）when matched then update set  enddate =batchdate，loaddate = sysdate

开链新增和修改的数据

insert into 表
select * from 临时表 where delflag = ‘未删除’

全量拉链和增量拉链

增量拉链的方式只在加工的时候限制当天数据即可
全量拉链则不需要限制
在这里需要注意全增量的问题

全增量问题

全量拉链的全增量问题

当主表是全量，而关联表用增量的时候，当有该表字段用来加工目标数据的时候是有问题的，需要注意
解决方式*关联表也用全量

增量拉链的全增量问题

当有多个关联表，且使用关联表加工目标表字段的时候，有些主表没有变动，但是关联表有变动，这种时候就需要注意保证变化的数据要是全量的。
解决方式： 可以创建一个临时表，多个表的主键union生成目标表的主键

结尾

本篇文章主要讲以上内容，未尽事项评论区见

数仓架构--之数据拉链表实操相关推荐

一文读懂数仓建设和数据治理
点击上方 "大数据肌肉猿"关注, 星标一起成长点击下方链接,进入高质量学习交流群今日更新| 950个转型案例分享-大数据交流群本文分为两大节介绍,第一节是数仓建设,第二节是数 ...
1W字概括数仓建设和数据治理
点击上方 "大数据肌肉猿"关注, 星标一起成长后台回复[加群],进入高质量学习交流群 2021年大数据肌肉猿公众号奖励制度本文分为两大节介绍,第一节是数仓建设,第二节是数据治理 ...
关于数仓建设及数据治理的超全概括
进入主页,点击右上角"设为星标" 比别人更快接收好文章本文分为两大节介绍,第一节是数仓建设,第二节是数据治理,内容较长,还请耐心阅读! 在谈数仓之前,先来看下面几个问题: 数仓为 ...
大数据架构详解_【数据如何驱动增长】（3）大数据背景下的数仓建设 amp; 数据分层架构设计...
背景了解数据仓库.数据流架构的搭建原理对于合格的数据分析师或者数据科学家来说是一项必不可少的能力.它不仅能够帮助分析人员更高效的开展分析任务,帮助公司或者业务线搭建一套高效的数据处理架构,更是能够从 ...
数仓建模—数仓架构发展史(02)
发展史时代的变迁,生死的轮回,历史长河滔滔,没有什么是永恒的,只有变化才是不变的,技术亦是如此,当你选择互联网的那一刻,你就相当于乘坐了一个滚滚向前的时代列车,开往未知的方向,不论什么样的技术架构只 ...
Apache Flink不止于计算，数仓架构或兴起新一轮变革
作者 | 蔡芳芳采访嘉宾 | 王峰(莫问) 维基百科的"Apache Flink"词条下,有这么一句描述:"Flink 并不提供自己的数据存储系统,但为 Amazon ...
数仓架构的持续演进与发展 — 云原生、湖仓一体、离线实时一体、SaaS模式
简介: 数据仓库概念从1990年提出,经过了四个主要阶段.从最初的数据库演进到数据仓库,到MPP架构,到大数据时代的数据仓库,再到今天的云原生的数据仓库.在不断的演进过程中,数据仓库面临着不同的挑战. ...
爱奇艺数据中台建设组合拳：日志投递、统一数仓、大数据平台
本文根据马金韬老师在[deeplus直播第233期]线上分享演讲内容整理而成.首发于DBAplus社群,经授权转载(文末有获取本期PPT&回放的方式,不要错过) 马金韬爱奇艺数据中台负责人 ...
数据仓库建设之数仓架构
大家好,不管是离线数仓与实时数仓,建设的时候都少不了架构设计,今天来学习一下常见的架构及发展演变过程. 一.离线数仓大数据架构 1.数仓架构下面详细说明图中的各个组件及其所起的作用.图中显示的整个数 ...
谈笑间学会数仓—主题域数据域
谈笑间学会数仓-主题域&&数据域在之前的文章里虽然没有按照顺序来,但是基本上都介绍了数据仓库建设的大概流程,比如技术架构方案设计.建模方法论.数仓分层.开发规范.数仓建设中的各种事实 ...

数仓架构--之数据拉链表实操

数仓架构--之数据拉链表