一篇文章搞懂数据仓库：数据应用--OLAP

1、OLAP和OLTP的区别

2、OLAP分类

3、OLAP基本操作

4、OLAP选型

1、olap和oltp的区别

	OLTP	OLAP
对象	业务开发人员	分析决策人员
功能	日常事务处理	面向分析决策
模型	关系模型	多维模型
数据量	几条或几十条记录	＞百万于万条记录
操作类型	增、删、查、改(CRUD)	查询为主
总体概括	联机事务处理	在线分析处理

2、OLAP分类

MOLAP，基于多维数组的存储模型，也是OLAP最初的形态，特点是对数据进行预计算，以空间换效率，明细和聚合数据都保存在cube中。但生成cube需要大量时间和空间。
ROLAP，基于关系模型进行存储数据，不需要预计算，按需即时查询。明细和汇总数据都保存在关系型数据库事实表中。其特点是与事务实体对应，关系清晰；但一般需要较为复杂的数据准备。在响应前端需求时，一般较快，但取决于计算引擎能力。
HOLAP，混合模型，细节数据以ROLAP存放，聚合数据以MOLAP存放。这种方式相对灵活，且更加高效。可按企业业务场景和数据粒度进行取舍，没有最好，只有最适合。

3、OLAP基本操作

★钻取：维的层次变化，从粗粒度到细粒度，汇总数据下钻到明细数据。如通过季度销售数据钻取每个月的销售数据
★上卷：钻取的逆，向上钻取。从细粒度到粗粒度，细粒度数据到不同维层级的汇总。eg. 通过每个月的销售数据汇总季度、年销售数据
★切片：特定维数据（剩余维两个）。eg. 只选电子产品销售数据
★切块：维区间数据（剩余维三个）。eg. 第一季度到第二季度销售数据
★旋转：维位置互换（数据行列互换），通过旋转可以得到不同视角的数据。

4、OLAP选型

druid

实时查询和分析的高容错、高性能开源分布式系统，用于解决如何在大规模数据集下进行快速的、交互式的查询和分析。
实时的数据消费，真正做到数据摄入实时、查询结果实时。
扩展性强，支持 PB 级数据
极高的高可用保障，支持滚动升级。
druid属于时间存储，删除操作比较繁琐，且不支持查询条件删除数据，只能根据时间范围删除数据。Druid能接受的数据的格式相对简单，比如不能处理嵌套结构的数据。

kylin

可扩展超快olap引擎，Hadoop/Spark上百亿数据规模
提供 Hadoop ANSI SQL 接口
交互式查询能力，用户可以与Hadoop数据进行亚秒级交互
百亿以上数据集构建多维立方体（MOLAP CUBE）
与BI工具无缝整合，如Tableau，PowerBI/Excel，MSTR，QlikSense，Hue和SuperSet

impala、presto...

数仓系列传送门：https://blog.csdn.net/weixin_39032019/category_8871528.html

一篇文章搞懂数据仓库：数据应用--OLAP相关推荐

一篇文章搞懂数据仓库：数据仓库架构-Lambda和Kappa对比
在介绍Lambda和Kappa架构之前,我们先回顾一下数据仓库的发展历程: 传送门-数据仓库发展历程写在前面咳,随着数据量的暴增和数据实时性要求越来越高,以及大数据技术的发展驱动企业不断升级迭代, ...
一篇文章搞懂数据仓库：数据仓库规范设计
目录一.为什么要进行规范设计? 二.设计规范 - 指标三.命名规范 - 表命名 3.1 常规表 3.2 中间表 3.3 临时表 3.4 维度表四.开发规范五.流程规范一.为什么要进行规范设计 ...
一篇文章搞懂数据仓库：常用ETL工具、方法
目录一.什么是ETL? 二.ETL & ELT 三.常用的ETL工具 3.1 sqoop 3.2 DataX 3.3 Kettle 3.4 canal 3.5 StreamSets 四.ET ...
一篇文章搞懂数据仓库：三范式与反范式
少年易老学难成,一寸光阴不可轻. 目录一.第一范式二.第二范式三.第三范式四.反范式化五.范式化设计和反范式化设计的优缺点 5.1 范式化 (时间换空间) 5.2 反范式化(空间换时间) 六 ...
一篇文章搞懂数据仓库：维度表（设计原则、设计方法）
目录 1.什么是维度表? 2.维度表设计原则 (1)维度属性尽量丰富,为数据使用打下基础 (2)给出详实的.富有意义的文字描述 (3)区分数值型属性和事实 (4)沉淀出通用的维度属性,为建立一致性维度 ...
一篇文章搞懂filebeat（ELK）
一篇文章搞懂filebeat(ELK) https://www.cnblogs.com/zsql/p/13137833.html 目录一.filebeat是什么 1.1.filebeat和beats ...
c++ 计算正弦的近似值_一篇文章搞懂正弦保真性
本文介绍数字信号处理中"正弦保真性"这一概念,想要更好地理解本文所述内容,建议读者先阅读<一篇文章搞懂卷积>. 正弦保真性定义一个正弦信号作为线性时不变系统的输入时, ...
一篇文章搞懂架构师的核心技能
" 这是架构师系列的第一篇:核心技能,希望这个系列能完全揭示架构师这个职位:我先从核心技能开始,后续还有架构师之路,架构实战等架构师系列文章. 本文作者陈睿优知学院创始人,前携程定制旅游 ...
组件化开发实战_一篇文章搞懂什么是前端“组件化”开发
学过网页的朋友都知道,制作一个网页离不开HTML.CSS和JavaScript技术.对于初学者来来说,掌握这3门技术就已经很不容易了,为什么前端为什么又要搞出来一个"组件化"开发的 ...

一篇文章搞懂数据仓库：数据应用--OLAP

1、olap和oltp的区别

2、OLAP分类

3、OLAP基本操作

4、OLAP选型

一篇文章搞懂数据仓库：数据应用--OLAP相关推荐

最新文章

热门文章