Oracle数仓分区表创建及其数据清理存储过程

Oracle数仓中，由于客户要求不能有delete语句，delete语句会对每一条数据记录一条日志，造成很慢，日志太大的问题。同时由于传统数仓容量限制，需要对历史数据进行一个归档，归档之后需要对历史数据进行清理，因此Ods采用了分区表设计。ODS采用按天列表分区，重跑时需要清理已存在的分区数据，非重跑时需要增加按天分区。清理的Oracle存储过程如下：

-- 清理分区数据或创建分区
-- v_tabname 表名
-- v_tabpartition 分区名字
-- v_bizdate 分区值
CREATE OR REPLACE PROCEDURE ODS_DATA_PREPARESQL(v_tabname in varchar,v_tabpartition in varchar,v_bizdate in varchar
) AScnt NUMBER;strSql varchar(2048);
BEGINselect count(1) into cnt from USER_TAB_PARTITIONS where TABLE_NAME = upper(v_tabname) and PARTITION_NAME = v_tabpartition;IF cnt > 0 thenstrSql := 'alter table ' || v_tabname || ' TRUNCATE PARTITION ' || v_tabpartition || ' update indexes';execute immediate strSql;ELSE strSql := 'alter table '|| v_tabname || ' ADD PARTITION ' || v_tabpartition || ' values ('|| v_bizdate || ')';execute immediate strSql;END IF;
END;

创建数仓ODS层分区表的模板如下：

create table test_partition (ID int,name varchar2(64),age int ,data_dt varchar2(32)
)
partition by list(data_dt) (partition PART_19700101 VALUES('19700101')
)

Oracle数仓分区表创建及其数据清理存储过程相关推荐

数据中台第7章数据体系建设:数仓分层设计、数据建模
数据中台数据体系是在全域原始数据的基础上,进行标准定义及分层建模,数据体系建设最终呈现的结果是一套完整.规范.准确的数据体系,可以方便支撑数据应用. 中台数据体系应具备以下特征: ·覆盖全域数据:数据 ...
数仓调度_大数据作业调度
大数据作业调度云上大数据仓库解决方案阿里云为企业提供稳定可靠离线数仓和实时数仓的解决方案,包括数据采集.数据存储.数据开发.数据服务.数据运维.数据安全.数据质量.数据地图等完整链路. 离线数仓 ...
数据仓库(9)数仓缓慢变化维度数据的处理
数据仓库的重要特点之一是反映历史变化,所以如何处理维度的变化是维度设计的重要工作之一.缓慢变化维的提出是因为在现实世界中,维度的属性并不是静态的,它会随着时间的流逝发生缓慢的变化,与数据增长较为快 ...
传统数仓如何转型大数据
大家好,我是一哥,前几天建了一个数据仓库方向的小群,收集了大家的一些问题,其中有个问题,一哥很想去谈一谈--现在做传统数仓,如何快速转到大数据数据呢?其实一哥知道的很多同事都是从传统数据仓库转到大数据 ...
埋点、数仓到中台：数据体系的从0到1
本文由作者董小矿于社区发布前言:有幸深度参与了公司从无数据,到有数据,到开始重视数据,最后能够尊重数据结果,参考数据进行决策的过程.本篇文章是笔者在这个过程中,作为数据产品搭建数据指标体系,如何 ...
数仓已死？数据湖当立！
前言前两天,我详细剖析了一下这两天脉脉上很火的数据建模帖子.指出来帖子里百度小哥"只见宽表不见建模"的核心原因是整个数据圈的核心逻辑变了. 然后就引起了建模群里一帮人在疯狂吐槽. ...
又一个巨头决定彻底放弃数仓！全面拥抱数据中台！
提起业务流量,除了全民抢票平台 12306,当数阿里最有发言权. 上到双十一千亿级流量洪峰,下到日均百万.千万交易量的平台,每个业务模块背后的高并发架构理念,无处不在. 成熟的架构设计只是其一,要取得 ...
再见了数仓，阿里的数据湖建设攻略确实牛！
随着信息化进程的加快,传统数仓越来越无法适应海量数据存储和分析的需求,天下苦数据仓库久矣! 只能存储结构化数据,无法采集存储非机构化数据无法存储原始数据,所有数据须经过ETL清洗过滤离线数仓的数据 ...
从传统数仓到互联网大数据开发，不走弯路很重要
1.自我介绍二本学校毕业5年,在某已倒闭手机厂商做安卓开发3年,到银行外包写SQL1年,现在在某大厂做大数据开发工作即将一年,月处理数据量PB级别. 2.为什么要转型转型有两个原因,一个是技术相关 ...

Oracle数仓分区表创建及其数据清理存储过程

Oracle数仓分区表创建及其数据清理存储过程相关推荐

最新文章

热门文章