【DBMS 数据库管理系统】数据仓库 ( 数据仓库简介 | 操作型数据与分析性数据对比 | 数据仓库特征 | 特征一 : 面向主题组织数据 | 面向应用 | )
文章目录
- 一、数据仓库简介
- 二、操作型数据与分析型数据对比
- 三、数据仓库 特征 与 定义
- 四、特征一 : 面向主题 数据组织方式
- 五、面向应用 数据组织方式
- 六、面向主题 组织数据
- 七、数据 从 面向应用 转为 面向主题
- 七、数据仓库中的主题实现
- 八、基于关系数据库
- 九、面向主题的数据组织
一、数据仓库简介
数据仓库 简介 :
用途 : 作为 DSS ( Decision Support System 决策支持系统 ) 服务基础的 分析型数据库 ;
数据 : 用于存储 大量的 只读数据 ;
应用场景 : 为管理者 决策 提供相关信息 ;
数据仓库 与操作系统分离 , 基于标准的企业模型集成 , 带时间属性 , 面向主题 , 不可更新 的 数据集合 ;
二、操作型数据与分析型数据对比
| 操作型数据 | 分析型数据 | |
|---|---|---|
| ① 数据粒度 | 细节的 | 综合的 |
| ② 数据时效 | 存储瞬间准确 | 过去的历史数据 |
| ③ 是否只读 | 可更新 | 不可更新 |
| ④ 需求可知 | 操作时实现知道需求 | 操作时事先不知道需求 |
| ⑤ 生命周期 | 生命周期符合 SDLC | 完全不同的生命周期 |
| ⑥ 性能要求 | 性能要求高 | 性能要求低 |
| ⑦ 操作大小 | 同一时刻操作一个单元的数据 | 同一时刻操作一个集合的数据 |
| ⑧ 数据大小 | 单词操作数据量小 | 单词操作数据量大 |
| ⑨ 驱动力量 | 事务驱动 | 分析驱动 |
| ⑩ 具体用途 | 面向应用 | 面向分析 |
| ⑪ 应用场景 | 支持日常操作 | 支持管理需求 |
三、数据仓库 特征 与 定义
数据仓库特征 :
- 面向主题
- 集成
- 不可更新
- 随时间不断变化
数据仓库定义 : 数据仓库 是 用于 更好地 支持 企业 / 组织 决策分析处理 , 面向主题的 , 集成的 , 不可更新的 , 随时间不断变化的 数据集合 ;
四、特征一 : 面向主题 数据组织方式
主题 :
- 主题是一个抽象 : 使用该抽象 , 在较高层次上 , 将企业信息系统中的数据 , 进行综合 , 归类 , 并进行分析利用 ;
- 逻辑意义 : 企业中 某个 宏观分析领域 涉及的分析对象 ;
较高层次 :
- 层次较高 : 相对于 面向应用 的 数据组织方式 , 层次较高
- 抽象级别 : 按照主题进行 数据组织方式 , 数据的抽象级别较高
面向主题 数据组织方式 特点 :
- 描述 : 对 分析对象的数据 的 , 完整的 , 一致的 , 描述 ;
- 内容 : 完整 , 统一 , 刻画 , 各个分析对象 , 涉及的数据 , 及数据对象之间的关系 ;
五、面向应用 数据组织方式
面向应用 数据组织方式 特点 :
- 调查收集需求 : 需要详细调查企业中相关组织 , 部门 , 收集数据库 基础数据 , 及 数据的处理过程 ; ( 这是在需求分析阶段进行的工作 )
- 组织数据依据 : 反映 企业内部的组织结构 , 业务活动特点 ;
- 数据组织本质 : 反映 组织 , 部门 , 内部数据 动态特征 , 每个部门的业务处理的 : 输入 , 处理 , 输出 , 的数据
- 数据组织方式 : 按 实际应用的 业务处理流程 组织 ;
- 数据组织目的 : 提供 OLTP 业务处理的速度 , 和 准确性 ;
- 存储介质改变 : OLTP 应用只是将传统的业务活动 , 从纸质介质 , 转为电子信息 , 系统中的数据 与 现实中被替代的纸质文档对应 ;
上述 OLTP 面向应用的数据组织 , 数据 , 与 数据处理 是分开的 , 一个客观实体的数据 , 与不同的应用场景捆绑 , 无法统一 , 分散存储在不同的表中 , 如商品信息 , 分别存储在采购子系统 , 销售子系统 , 库存子系统中 , 数据被分开存储 ;
面向应用 数据组织方式 缺点 : 数据抽象程度太低 , 数据 与 应用没有分离 ;
引入数据仓库 : 应该将 数据 从 数据处理 中抽象出来 , 组成和具体应用独立的 数据仓库 ;
面向应用 数据组织方式 优点 :
- 操作性好 : 将 数据库 与 企业的业务逻辑 对应 , 可操作性高 ;
- 方便转换 : 方便 企业 将原有的纸质业务 , 转为计算机处理的业务 ;
- 支持 OLTP 应用
六、面向主题 组织数据
面向主题 组织数据 步骤 :
① 抽取主题 : 按照 OLAP 数据分析 的要求 , 确定抽取的主题 ;
② 主题内容 : 确定 该抽取的主题 , 包含的数据内容 ;
主题抽取 示例 :
主题 : 商场的商品采购 ;
OLTP 数据 : 在 OLTP 数据库中 , 存储有 订单 , 订单详情 , 供应商 , 等数据库表 , 清晰的展示了 商品采购时 所涉及业务的数据内容 , 上述 数据的组织方式 是 面向应用 数据组织方式 ;
OLAP 数据需求 :
- 分析对象 : 在数据仓库中 , 需求是分析供应商的详细数据 , 通过数据分析处理 , 选出优质供应商 , 供应商是主要的分析对象 ;
- 忽略数据 : 具体的订单情况 , 清单详情 , 是需要忽略的 , 数据分析时 , 不需要分析采购的具体细节 , 如送货周期 , 送货时间 , 交接人员 等 , 这些都是操作型数据 , 分析时不需要关心这些细节数据 ;
- 数据组合 : 只抽取供应商的数据是不够的 , 还需要其它数据库中的部分数据 , 有些数据需要丢弃 , 有些数据需要抽取 , 重新组合成新的数据 ;
针对与商场 , 面向主题创建 数据仓库 , 抽取出如下三个主题 : ① 商品 , ② 供应商 , ③ 顾客 ;
将 444 个子系统 , 转为了 333 个主题 ;
- OLTP 子系统 : 固有信息 , 采购子系统 , 销售子系统 , 库存子系统 ;
- OLAP 主题 : 商品 , 供应商 , 顾客 ;
以 “商品” 主题为例 : 商品主题包含以下数据 :
- 商品本身信息 : 商品号 , 商品价格 , 商品颜色 ; ( 从商品固有信息中抽取 )
- 商品采购信息 : 商品号 , 供货商 , 采购价格 ; ( 从采购子系统中抽取 )
- 商品销售信息 : 商品号 , 零售价 , 顾客信息 ; ( 从销售子系统中抽取 )
- 商品库存信息 : 商品号 , 库存量 , 保存时间 ; ( 从库存子系统中抽取 )
七、数据 从 面向应用 转为 面向主题
数据 从 面向应用 转为 面向主题 转换过程 :
1 . 丢弃数据 : 一些与分析对象无关的信息 , 直接丢弃 ;
2 . 组织数据 : 与分析对象有关的信息 , 可能分布与各个子系统中 , 将这些数据重新组织起来 , 形成针对该分析对象的完整描述 , 放入一个主题中 ;
3 . 内容重叠 : 主题间可能存在内容重叠 , 这些 重叠的信息 反映了主题之间的联系 ;
- 逻辑重叠 : 主题逻辑上的重叠 , 区别于相同的数据的物理存储重叠 ;
- 细节重叠 : 数据在不同的主题上综合方式不同 ;
- 重叠方式 : 主题间的重叠可能是多重重叠 , 如 333 个主题间相互重叠 , 不是两两重叠 ;
七、数据仓库中的主题实现
数据仓库中的主题实现有两种方式 :
- ① 基于多维数据库 : 以多维数组的形式存储 ; ( 处理数据稀疏问题 )
- ② 基于关系数据库 : 以表的形式存储 ;
八、基于关系数据库
"主题" 基于关系数据库 :
- 主题数据组成 : 用一组 关系数据库 中的关系表 中的数据 表示主题 ;
- 公共码键 : 每个 关系表 都有一个 公共码键 作为 主属性 , 就是 id ;
- 主题数据联系方式 : 主题下的 关系表 数据 , 使用公共码键 进行关联 ;
公共码键示例 :
"商品" 主题 : 以商品主题为例 ;
公共码键 : 商品号 , 在所有的商品主题下的表中 , 都带有公共码键 , 商品号 ;
商品表 : 商品号 , 商品名称 , 颜色 , 形状 , 零售价 , …
采购表 : 商品号 , 供应商 , 采购日期 , 进货价 , …
库存表 : 商品号 , 库存量 , 库存时间 , …
主题中 关系表 的存储 :
- 低频访问数据存储 : 不经常访问的数据 , 如历史数据 , 细节数据 等查询概率低的数据 , 放在普通磁盘中存储 ;
- 高频访问数据存储 : 经常访问的数据 , 放在高速访问存储设备中 , 如 固态硬盘 ;
九、面向主题的数据组织
主题域 : 主题域是 完备的分析领域 , 需要具备以下两个特征 ;
- 独立性 : 主题域 必须有独立的主题 , 有明确的界限 , 表示某数据属于 / 不属于 该主题 ;
- 完备性 : 主题中包含的 主题对象 的数据必须完整 , 分析处理所用到的数据 , 都包含在该主题中 ;
主题数据组织 是 在较高层级 对数据进行抽象 ; 主题数据组织 独立于 数据处理逻辑 ; 在该 主题数据 基础上 , 可以快速开发新的 OLAP 应用 ;
【DBMS 数据库管理系统】数据仓库 ( 数据仓库简介 | 操作型数据与分析性数据对比 | 数据仓库特征 | 特征一 : 面向主题组织数据 | 面向应用 | )相关推荐
- 【DBMS 数据库管理系统】数据仓库特征 ( 特征一 : 面向主题组织数据 | 特征二 : 数据集成 | 特征三 : 数据不可更新 | 特征四 : 随时间不断变化 )
文章目录 一.特征一 : 面向主题 数据组织方式 二.特征二 : 数据集成 三.特征三 : 数据不可更新 四.特征四 : 数据仓库中的数据 随时间不断变化 一.特征一 : 面向主题 数据组织方式 主题 ...
- 【DBMS 数据库管理系统】数据库 -＞ 数据仓库 ( 数据处理类型 | 传统数据库 | 数据库不适用于分析型应用 )
文章目录 一.数据处理类型 二.传统数据库技术 三.传统数据库 不适用于 分析型 ( DSS 决策支持系统 ) 应用 原因 四.事务性处理 与 分析型处理 性能特性不同 五.数据集成问题 六.数据集成 ...
- DBMS 数据库管理系统的三级模式架构《ClickHouse 实战：企业级大数据分析引擎》...
引文 计算机科学领域的所有问题,都可以通过添加一层中间层来解决.通过在用户和计算机中间添加一层逻辑层(概念模型层),于是就有了"数据库的三级模式":数据库在三个级别 (层次)上进行 ...
- dbms数据库管理系统_基本数据库管理系统（DBMS）能力问题和解答
dbms数据库管理系统 This section contains the aptitude questions and answers on basic concepts of DBMS. You ...
- dbms数据库管理系统_DBMS中的数据库语言
dbms数据库管理系统 DBMS数据库语言 (DBMS Database languages ) Database languages are the languages that provide t ...
- dbms数据库管理系统_数据库管理系统（DBMS）中的视图
dbms数据库管理系统 DBMS College professor once realized that students feel sad when they see their friend's ...
- dbms数据库管理系统_数据库管理系统dbms
dbms数据库管理系统 A database is an organized collection of data, generally stored and accessed electronica ...
- 操作型数据和分析型数据的主要区别
文章目录 一.数据库的两大基本类型 二.操作型数据库 VS 分析型数据库 三.数据仓库 四.数据仓库发展历程 五.数据库与数据仓库的区别 六.OLTP与OLAP的区别 七.元数据介绍 八.星型模型和雪 ...
- 【DBMS 数据库管理系统】OLTP 联机事务处理 与 OLAP 联机分析处理 ( 数据仓库 与 OLAP | OLAP 联机分析处理 | OLTP 与 OLAP 区别 )
文章目录 一.数据仓库 和 联机分析处理 技术 简介 二.OLAP 联机分析处理 引入 三.OLAP 联机分析处理 概念 四.OLAP 联机分析处理 特点 五.OLAP 与 OLTP 区别 一.数据仓 ...
最新文章
- 【JavaWeb】servlet与http请求协议
- 月薪40~50K|波波生活信息技术公司招聘高级算法工程师
- Android平台根目录文件
- 微软研究员：fork() 已落后，需要淘汰
- 你知道钓鱼网站的形成步骤吗？一次网络钓鱼演练带你了解（增强安全意识）
- python快速编程入门飞机大战_少儿编程：使用python完成飞机大战游戏（一）
- 高效开发者是如何个性化VS Code插件与配置的？
- agp模式_AGP的完整形式是什么？
- C++基础11-类和对象之操作符重载1
- 【iOS开发】带有 Extension Target 的 App，如何签名打包
- 学电力好还是计算机好,毕业后想进电力系统上班？这三个专业可优先考虑
- 量化投资之股票统计套利：基于BP神经网络
- 莱鸟学spss数据分析之第六章---描述性分析
- 产品经理自学资料/UI交互设计/产品相关电子书/求职招聘/案例资料免费领取
- php检测硬件代码,查看“硬件设置”的源代码
- 关于POS终端安全 PCI做了哪些要求？
- gta5在线模式服务器暂停使用,R星官网放出《GTAOL》停服公告，12月16日正式关闭线上服务器！...
- java遍历几种,【Java】集合遍历的概念及遍历的几种方式
- nodejs探秘:require加载模块的原理及代码实现
- conda配置python混合开发环境一站式入门【全平台】