【DBMS 数据库管理系统】数据仓库中 数据追加 ( 时标方法 | DELTA 文件法 | 前后映像文件法 | 日志文件法 )
文章目录
- 一、数据追加 概念 和 方法
- 二、时标方法
- 三、DELTA 文件法
- 四、前后映像文件法
- 五、日志文件法
一、数据追加 概念 和 方法
数据仓库 数据追加 :
- "数据追加" 概念 : 数据仓库 数据初装 完成之后 , 再向数据仓库中输入新的数据 , 称为 “数据追加” ;
- "数据追加" 内容 : 在上次数据初装 / 数据追加 后 , 变化的数据 ( 不变的数据不管 , 更新变化的数据 ) ;
"数据追加" 途径 :
- 时标方法
- DELTA 文件法
- 前后映像文件法
- 日志文件法
二、时标方法
时标方法 :
- 前提 : 数据含有 时标 字段 ;
- 操作 : 对新 插入 或 更新 的数据记录 , 加上最新的时标 ;
缺点 : 很多数据库中的属性字段中 , 没有 “时标” 字段 , 此时就无法进行数据追加 ;
三、DELTA 文件法
DELTA 文件法 : 设计应用程序 , 让 应用程序 负责 生成 DELTA 文件 , 记录数据改变的内容 ;
优点 : 效率高 , 避免扫描整个数据库 ;
缺点 :
- 应用问题 : 生成 DELTA 文件 需要应用程序进行 , 不是所有的应用都有该功能 ;
- 更改应用 : 需要更改应用程序 , 开发生成 DELTA 文件功能 ;
- 应用数量 : 应用数量很多 , 几万 , 十几万个 , 每个应用都添加 生成 DELTA 文件的功能 , 很难实现 ;
四、前后映像文件法
前后映像文件法 : 先对数据库做一次快照 AAA , 抽取数据库数据 到 数据仓库 中 , 在做一次快照 BBB , 对比 ABABAB 两个快照的差异 , 确定追加的数据 ;
"前后映像文件法" 缺点 : 扫描一次数据库都很占用资源 , 这里对比 222 个快照 , 需要扫描 222 次数据库 , 这样会 占用大量的资源 , 影响系统性能 ;
五、日志文件法
日志文件法 :
- 数据库固有机制 : 利用 传统数据库 的固有机制 , 日志文件机制 , 数据库可以根据日志文件进行数据恢复 ;
- 操作数据 : 将 数据库 的日志文件取出 , 读取该日志文件 , 该日志文件中有数据的增删查改操作内容 , 日志文件中进行了哪些修改 , 数据仓库中进行对应的数据追加 ;
- 优点 : 只用顺序读取日志文件 , 不需要扫描整个数据库 ;
- 缺点 : 日志文件机制 , 是根据 OLTP 需求进行设计的 , 将数据的全部变化过程都记录下来 , 数据仓库对数据变化的过程不关心 , 只关心最终结果 ; 如 商品的采购价格 , 经过多轮谈判 , 开始 100 元 , 经过反复谈判 , 先改成 99 元 , 又改成 97 元 , 最终是 95 元 , 这里只关心最终价格 , 变化的过程的数据 , 数据仓库是不关心的 ;
【DBMS 数据库管理系统】数据仓库中 数据追加 ( 时标方法 | DELTA 文件法 | 前后映像文件法 | 日志文件法 )相关推荐
- dbms数据库管理系统_DBMS中的数据库语言
dbms数据库管理系统 DBMS数据库语言 (DBMS Database languages ) Database languages are the languages that provide t ...
- 【DBMS 数据库管理系统】数据仓库特征 ( 特征一 : 面向主题组织数据 | 特征二 : 数据集成 | 特征三 : 数据不可更新 | 特征四 : 随时间不断变化 )
文章目录 一.特征一 : 面向主题 数据组织方式 二.特征二 : 数据集成 三.特征三 : 数据不可更新 四.特征四 : 数据仓库中的数据 随时间不断变化 一.特征一 : 面向主题 数据组织方式 主题 ...
- dbms数据库管理系统_数据库管理系统（DBMS）中的视图
dbms数据库管理系统 DBMS College professor once realized that students feel sad when they see their friend's ...
- 计算机三级数据库数据仓库与数据挖掘（一）、快照方式、元数据、数据仓库中数据特征、机器学习、聚类方法、分类算法、决策支持系统、表数据的粒度级、分布式数据库、
1.在建立数据仓库的数据集成工作中,需要采用适当的策略从数据源获取变化数据.下列数据表中,一般情况下不适宜采用快照方式从业务系统获取数据的是 A.门店表.销售人员表 B.商品清单.商品类别表 C.顾客 ...
- 图文详解 DBMS 数据库管理系统三层架构体系（三级模式）《ClickHouse 实战：企业级大数据分析引擎》...
引文 计算机科学领域的所有问题,都可以通过添加一层中间层来解决.通过在用户和计算机中间添加一层逻辑层(概念模型层),于是就有了"数据库的三级模式":数据库在三个级别 (层次)上进行 ...
- DBMS 数据库管理系统的三级模式架构《ClickHouse 实战：企业级大数据分析引擎》...
引文 计算机科学领域的所有问题,都可以通过添加一层中间层来解决.通过在用户和计算机中间添加一层逻辑层(概念模型层),于是就有了"数据库的三级模式":数据库在三个级别 (层次)上进行 ...
- dbms数据库管理系统_数据库管理系统dbms
dbms数据库管理系统 A database is an organized collection of data, generally stored and accessed electronica ...
- 浅谈数据库，数据仓库，数据中台
数据库,数据仓库,数据中台这些关于数据的概念性的东西,对于初学者来讲,非常容易混淆. 在使用计算机的过程中,我们经常会遇见需要进行数据存储的场景,比如,通讯录数据,进销存数据.在数据量不是特别大的时候 ...
- dbms数据库管理系统_基本数据库管理系统（DBMS）能力问题和解答
dbms数据库管理系统 This section contains the aptitude questions and answers on basic concepts of DBMS. You ...
最新文章
- 基于chyh1990/caffe-compact在windows vs2013上编译caffe步骤
- python 比较文件夹或列表异同
- JAVA中方法的类型转换_Java中几种常用数据类型之间转换的方法
- Linux 利用lsof命令恢复删除的文件
- gin 项目结构_Gin框架 - 项目目录
- boost::reverse_lock相关的测试程序
- Java黑皮书课后题第7章：*7.29（游戏：挑选四张牌）编写一个程序，从一副52张牌中选出4张，然后计算它们的和。Ace King Quee Jack分别表示1、13、12和11，显示得到和24的次
- Android之网络请求提示Cleartext HTTP traffic to dev*******.com not permitted
- 【转】ABP源码分析二十五：EventBus
- mysql数据备份(windows,linux)
- 本地项目怎么推送到码云_如何将本地项目放到码云(gitee)上
- 英特尔中国研究院成立20周年，我看到了这些好玩Demo
- redis与mysql一致性方案解析
- 程序员这口饭，职业规划解决方案---程序员职业规划（二）
- 135编辑器中html使用方法,135编辑器使用小技巧 135编辑器特色功能使用技巧方法...
- 梦幻之旅：盘点一生必去的50…
- 简单的摄像头自写驱动程序总结
- thingworx项目-mushup
- 解决Anaconda无法添加环境变量问题，适用于Linux的大多数发行版本。
- vscode点击ctrl+c 光标变粗，且复制粘贴不了