联机事务处理(OLTP)

OLTP也称实时系统(Real Time System),支持事务快速响应和大并发,这类系统典型的有ATM机(Automated Teller Machine)系统、自动售票系统等,但有些银行转账并不是实时到账的。OLTP反映企业当前的运行状态,完成企业管理所包含的日常任务的数据库应用,一般没有复杂的查询和分析处理。

联机分析处理(OLAP)

OLAP也称决策支持系统(Decision Support System,DSS),是数据仓库系统的主要应用形式,使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。

基于数据仓库的决策支持系统通常由数据仓库、联机分析处理和数据挖掘三个部分组成,其中数据仓库是系统的核心。

OLAP的目标是满足决策支持或多维环境特定的查询和报表需求,它的技术核心概念是维(观察数据的特定角度,如时间维),因此OLAP也可以说是多维数据分析工具的集合。

OLAP系统按照数据存储格式可以分为Relational OLAP(ROLAP)、Multidimensional OLAP(MOLAP)和Hybrid OLAP(HOLAP)三种类型。ROLAP基本数据和聚合数据均存放在RDBMS之中;MOLAP基本数据和聚合数据均存放于多维数据库中;HOLAP基本数据存放于RDBMS之中,聚合数据存放于多维数据库中。

E.F.Codd提出12条准则来描述OLAP系统:

准则1 OLAP模型必须提供多维概念视图  
准则2 透明性准则   
准则3 存取能力推测   
准则4 稳定的报表能力   
准则5 客户/服务器体系结构   
准则6 维的等同性准则   
准则7 动态的稀疏矩阵处理准则   
准则8 多用户支持能力准则   
准则9 非受限的跨维操作   
准则10 直观的数据操纵   
准则11 灵活的报表生成   
准则12 不受限的维与聚集层次

 

多维数据库(Multi Dimensional Database,MDD)

数据存放在一个n维数组中,而非关系数据库以记录形式存放,属后关系型数据库,主要特征是将多维处理和面向对象技术结合到关系数据库上。它存在大量稀疏矩阵,可以通过多维视图来观察数据。多维存储基本形式如:(2000年1月,上海,笔记本电脑,#0000)。

数据集市(Datamarts)

为了特定的应用目的或应用范围,而从数据仓库中独立出来的一部分数据,也可称为部门数据或主题数据(Subjectarea)。在数据仓库的实施过程中往往可以从一个部门的数据集市着手,以后再用几个数据集市组成一个完整的数据仓库。需要注意的就是在实施不同的数据集市时,同一含义的字段定义一定要相容,这样在以后实施数据仓库时才不会造成大麻烦。

数据仓库(Data Warehouse,DW)

是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的海量数据集合(包括大量冗余数据),用以支持经营管理中的决策制定过程,核心是海量数据存放和海量数据检索。相对于操纵型数据库来说其突出的特点是对海量数据的支持和快速的检索技术。为了实现决策支持型数据处理与事务型数据处理的分离,它按照一定的周期将事务型数据转换导入决策支持数据库中。数据仓库系统是一个信息提供平台,他从业务处理系统获得数据,主要以星型模型和雪花模型进行数据组织,为用户提供各种手段从中获取信息和知识。数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库(通常称为数据集市)。从功能结构划分,数据仓库系统至少应该包含数据获取(Data Acquisition)、数据存储(Data Storage)、数据访问(Data Access)三个关键部分。

ETL(Extraction-Transformation-Loading)

负责将分布的、异构数据源中的数据如关系数据、平面数据(去除了所有特定应用格式,可以迁移到其他应用上进行处理的一类数据,比如逗号分隔数据)文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础,是BI(Business Intelligence)/DW的核心和灵魂,是数据仓库中的非常重要的一环。数据仓库是一个独立的数据环境,需要通过抽取过程将数据从联机事务处理环境、外部数据源或者脱机的数据存储介质导入到数据仓库中;在技术上,ETL主要涉及到关联、转换、增量、调度和监控等几个方面;数据仓库系统中数据不要求与联机事务处理系统中数据实时同步,所以ETL可以定时进行。在数据仓库建设中最难部分是用户需求分析和模型设计,而ETL规则设计和实施则是工作量最大的,约占整个项目的60%~80%。

转载于:https://www.cnblogs.com/XiongMaoMengNan/p/7803562.html

大数据基础篇(一):联机分析处理(OLAP) 与 联机事务处理(OLTP)相关推荐

  1. 大数据基础篇~JavaSE第一章

    大数据基础篇教程分享01 目前计算机专业现状,java开发工程师虽然容易找工作(这个也是在你在大学期间java基础学习的比较好,然后会一些框架,才能找到工作)但是java开发常常熬夜,楼主就是卷不动j ...

  2. 联机分析处理系统与联机事务处理系统的区别和联系_混合事务分析处理“HTAP”的技术要点分析...

    HTAP是近些年来比较火的一个概念,本文将聊聊HTAP的前世今生及技术特点. 一.数据应用类别 根据数据的使用特征,可简单做如下划分.在选择技术平台之前,我们需要做好这样的定位. 1.1 OLTP 联 ...

  3. 大数据基础篇~JavaSE第三章

    一.JavaSE 基础语法学习 1.关键字 在java里面有特殊含义的单词如 class ,好比int是用来定义整型数据,它已经被java官方使用了,你就没有办法在使用了. 注意:后面我们学习中会慢慢 ...

  4. 大数据技术原理与应用 第一篇 大数据基础

    目录 第一章 大数据概述 一. 大数据时代 1.1 三次信息化浪潮 1.2 信息科技发展 1.3 数据产生方式的变革 1.4 大数据的影响 二. 大数据的概念 2.1 大数据的特征 2.2 大数据关键 ...

  5. 女友问粉丝过万如何庆祝,我发万字长文《保姆级大数据入门篇》感恩粉丝们支持,学姐|学妹|学弟|小白看了就懂

    2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习. 有对大数据感兴趣的可以关注微信公众号:三帮大数据 目录 粉丝破万了 新星计划申 ...

  6. 女友问粉丝过万如何庆祝,我发长文《保姆级大数据入门篇》感恩粉丝们支持,学姐|学弟看了就懂

    文章目录 粉丝破万了 新星计划申请时粉丝数 新星内卷抢热榜之旅 运营整顿新星执行新规 重整旗鼓输出内容为王 女友问粉丝过万如何庆祝 保姆级大数据入门篇 一.学习重点划定 二.Java和大数据关系 三. ...

  7. 大数据基础教程丨TiDB数据库从入门到实践

    TiDB 是一款定位于联机事务处理/联机分析处理( HTAP: Hybrid Transactional/Analytical Processing)的融合型数据库产品,实现了一键水平伸缩,强一致性的 ...

  8. 联机分析处理 OLAP

    联机分析处理 OLAP 2008-07-31 16:45:15 本文已公布到博客频道职场·创业分类 联机分析处理,英文名称为On-Line Analysis Processing,简写为 OLAP. ...

  9. 大数据基础知识——数仓的搭建(维度建模)

    数据仓库 文章目录 数据仓库 数据仓库的介绍: 数据仓库的概念: OLTP和OLAP区别: 数据仓库的特点: 面向主题: 数据集成: 非易失: 时变: 数据仓库系统架构 系统结构图 源数据 ETL 数 ...

最新文章

  1. 辞职之后的思考--激励
  2. c++常见操作的模板
  3. php上传文件到七牛云源码,laravel上传文件到七牛云存储
  4. 如何在本地开发环境调试微信 JS-SDK
  5. 一个电脑同时运行 64bit 和 32bit 的eclipse 如何匹配 jdk环境
  6. python vlookup 模糊_如何用python写excel中的vlookup函数?
  7. 开学季|计算机专业的你看过来!
  8. 【三维深度学习】多视角场景点云重建模型PointMVS
  9. luoguP2701 [USACO5.3]巨大的牛棚Big Barn(极大子矩阵)
  10. 车牌识别算法介绍与实践(转)
  11. 基于java的物资管理系统
  12. arcgis可达性分析
  13. Diffusion Models扩散模型与深度学习(数学原理和代码解读)
  14. JPEG转换成TIFF
  15. Jupyter制作slides
  16. Elasticsearch6.4专题之16:Ingest Node
  17. python绘制彩色六边雪花
  18. Android studio占用C盘资源的解决方法
  19. 使用Charles监控手机应用的网络请求
  20. oracle 权限问题9017,深入浅出Oracle学习笔记(5)

热门文章

  1. PHP 获取服务器详细信息【转】
  2. Geometric Shapes - POJ 3449(多边形相交)
  3. Java Word转Html
  4. CSDN-markdown编辑器使用说明
  5. 在 ActiveReports 中嵌入 Spread 控件
  6. sourcetree不好做到的一些git操作
  7. iOS touch事件单击双击区分响应
  8. iOS自动布局进阶用法
  9. XP系统安装SQL2000企业版开启1433端口
  10. 用来做 favicon 的站点