oracle统计每天数据增量,每天的业务数据增量导入oracle库方法讨论
咨询各位高人.
目前状况是 我单位每天都要产生 一个单品资料的基础表,
是所有单品,大约5万条数据
,但是每天这个表都有多少改变,比如:有些单品更新,有一些删除掉
了.这个表每天都是通过unix上系统上下载下来.
这个表是个基础表,每天所有的交易,都是在这个表基础上的.
我已经把它导入到oracle中,但是,如果每天都在oracle中全表导入一个的话,数据量有点大了.
我想问,能不能做到这样:
每天,增量导入(增加的数据导入oralce,删除了的数据就把oracle中的
对应表中单品删除,有更新的就更新).然后做了修改的数据建立一个备份的表,只存取有改动数据.
如果用vb写程序是可以做到,但是确实太麻烦了.
oracle数据库有没有这种etl的功能或者方法?
merge into 可以实现更新和增量插入,但是,删除了的数据怎么办呢?
如果将来,要查询历史销售的时候,需要历史的单品资料做关联.
请问有没有好的解决办法呢?
请达人教导一下.或者大家有什么想法可以讨论下.
oracle里的表和基表比较,有更新的就插入另一个新表做备份,没有的就从基表中删除,然后在再MERGE。
这样有点问题:每天备份的数据都在一个表里还是每天新创建一个表?要是都在一个表里会不会出现主键重复而备份不了?
我感觉materialized view可以。不知道你用过没有?
目前有几种思路:
1.用2楼的思路,先比较,然后把删除了的数据备份到其他表,然后,再把每天的基本表和前天的基本表对照,然后merge into...我也有点倾向这么做,但是问题是,9i不支持merge into 的删除,只有10g才支持.-__-||
2.materialized view .但是没有实际做过,而且以前都是看的英文文档,有点痛苦.准备重新去看下再设计.
3.如5楼说的触发器..但是,现在情况是,前一天基本表和当天的基本表的对照,触发器不好解决吧?
比如.a 表已经存在oralce了,今天产生了一个a1表,来源是unix主机的文本.a1表中有95%和a表一样.实际都是基本表,只是日期不同.5楼兄弟有什么好的触发器机制吗?
4.timestamp的机制.(我感觉反而有点麻烦)
5.oracle cdc包来抽取(更麻烦)
我先看看先实现1和2方法吧.
大家有好的想法,具体情况,都可以拿出来讨论下...毕竟是生产中的实际例子,比看书强啊[@more@]
咨询各位高人.
目前状况是 我单位每天都要产生 一个单品资料的基础表,
是所有单品,大约5万条数据
,但是每天这个表都有多少改变,比如:有些单品更新,有一些删除掉
了.这个表每天都是通过unix上系统上下载下来.
这个表是个基础表,每天所有的交易,都是在这个表基础上的.
我已经把它导入到oracle中,但是,如果每天都在oracle中全表导入一个的话,数据量有点大了.
我想问,能不能做到这样:
每天,增量导入(增加的数据导入oralce,删除了的数据就把oracle中的
对应表中单品删除,有更新的就更新).然后做了修改的数据建立一个备份的表,只存取有改动数据.
如果用vb写程序是可以做到,但是确实太麻烦了.
oracle数据库有没有这种etl的功能或者方法?
merge into 可以实现更新和增量插入,但是,删除了的数据怎么办呢?
如果将来,要查询历史销售的时候,需要历史的单品资料做关联.
请问有没有好的解决办法呢?
请达人教导一下.或者大家有什么想法可以讨论下.
oracle里的表和基表比较,有更新的就插入另一个新表做备份,没有的就从基表中删除,然后在再MERGE。
这样有点问题:每天备份的数据都在一个表里还是每天新创建一个表?要是都在一个表里会不会出现主键重复而备份不了?
我感觉materialized view可以。不知道你用过没有?
目前有几种思路:
1.用2楼的思路,先比较,然后把删除了的数据备份到其他表,然后,再把每天的基本表和前天的基本表对照,然后merge into...我也有点倾向这么做,但是问题是,9i不支持merge into 的删除,只有10g才支持.-__-||
2.materialized view .但是没有实际做过,而且以前都是看的英文文档,有点痛苦.准备重新去看下再设计.
3.如5楼说的触发器..但是,现在情况是,前一天基本表和当天的基本表的对照,触发器不好解决吧?
比如.a 表已经存在oralce了,今天产生了一个a1表,来源是unix主机的文本.a1表中有95%和a表一样.实际都是基本表,只是日期不同.5楼兄弟有什么好的触发器机制吗?
4.timestamp的机制.(我感觉反而有点麻烦)
5.oracle cdc包来抽取(更麻烦)
我先看看先实现1和2方法吧.
大家有好的想法,具体情况,都可以拿出来讨论下...毕竟是生产中的实际例子,比看书强啊
oracle统计每天数据增量,每天的业务数据增量导入oracle库方法讨论相关推荐
- oracle查找某一天的数据,oracle统计时间段内每一天的数据(推荐)
下面给大家介绍oracle统计时间段内每一天的数据,具体sql语句如下所示: 1. 生成1000个随机数 SELECT ROWNUM RN, DBMS_RANDOM.VALUE(0, 1000) RA ...
- 大数据-数仓-数据采集-业务数据(二):全量同步采集【MySQL<-->DataX(全量)<-->HDFS】【每日全量:每天都将业务数据库中全部数据同步到数据仓库,是保证两侧数据同步的最简单方式】
DataX源码地址:GitHub - alibaba/DataX: DataX是阿里云DataWorks数据集成的开源版本. 一.第1章 DataX介绍 1.1 DataX概述 1. 介绍:DataX ...
- mysql数据迁移neo4j_neo4j数据库迁移---------Neo4j数据库导入导出的方法
Neo4j数据进行备份.还原.迁移的操作时,首先要关闭neo4j; /usr/share/neo4j/bin neo4j stop 如果出现 Neo4j not running 出现这种情况, Neo ...
- 7.1.3智慧物流【指标统计,业务数据,快递单主题,运单主题(ETL,sqoop数据导出到MySql)】
指标统计 文章目录 指标统计 第一节 指标体系 第二节 业务数据 1.1 物流系统数据库表 揽件表(lg_collect_package) 客户表(lg_customer) 物流系统码表(lg_cod ...
- oracle 查询时间点数据_oracle统计时间段内每一天的数据(推荐)
下面给大家介绍oracle统计时间段内每一天的数据,具体sql语句如下所示: 1. 生成1000个随机数 SELECT ROWNUM RN, DBMS_RANDOM.VALUE(0, 1000) RA ...
- 企业级数据仓库:数据仓库概述;核心技术框架,数仓理论,数据通道Hive技术框架,HBase设计,系统调度,关系模式范式,ER图,维度建模,星型/雪花/星座模式,数据采集同步,业务数据埋点,数据仓库规范
文章目录 第一章 数据仓库概述 1.1 数据仓库简介 1.1.2 什么是数据仓库? 1.1.3 OLTP 与 OLAP 1.2 数据仓库技术架构 1.3 课程目标 第二章 核心技术框架 2.1 数据仓 ...
- 大数据项目--电商业务数据仓库
文章目录 一.电商业务与数据结构简介 1.1 电商业务流程图 1.2 数据表结构 1.2.1 电商常识 (SKU,SPU) 1.2.2 订单表(order_info) 订单详情表 (order_det ...
- 让业务数据流动起来~
前言 对于一个产品,甚至一个企业而言,基础的数据通常有四部分:用户行为数据.核心业务数据.业务上报数据和运维监控数据. 用户行为数据,主要是用户在前端(APP端.Web网页)的浏览与操作行为数据,用于 ...
- SAP 常用业务数据表设计
表的要求 表中使用的字段请尽量参照各模块的SAP字段标准使用习惯: 例:"ZXSLRZX销售组织对应的利润中心"中的销售组织应该使用VKORG.利润中心应该使用PRCTR. 根 ...
最新文章
- ARKIT/ARCore对比分析(一)
- VS2008 各种杂七杂八技巧
- 云计算技术 — 云计算的商业模式与部署模式
- pythonrequests下载大文件_Python3 使用requests模块显示下载大文件显示进度
- jQuery-DOM操作之属性、class
- 32f407tim4时钟源频率_慎重选择时钟发生器,别让这俩指标影响你的ADC 「图片」...
- 【2016年第4期】研究(国家自然科学基金项目成果集萃)导读
- C++字符串完全指引之一(Win32 字符编码)
- 【Python】蟒蛇绘制
- A.2.3-猜数字游戏
- javascript动态修改对象的属性名
- python unicode函数_python 中的unicode详解
- Java中System.getProperty()的作用及使用
- win7计算机不显示摄像头图标不见了,win7系统摄像头图标不显示的解决方法
- 关于多个债权人申请执行同一被执行人的清偿顺序问题
- 从数字企业转型来看,数据分析能带来什么
- haas506 2.0开发教程-hota(仅支持2.2以上版本)
- [审核]审核被拒(陌生社交应用)
- Android之极致拟物化空气质量检测仪
- 数据挖掘中的数据清洗方法大全