选择适合你的开源 OLAP 引擎
摘要：本文主要介绍了主流开源的OLAP引擎：Hive、Sparksql、Presto、Kylin、Impala、Druid、Clickhouse 等，逐一介绍了每一款开源 OLAP 引擎，包含架构、优缺点、使用场景等，希望可以给大家有所启发。
PS: 文章较长，建议收藏慢慢看。
说起 OLAP 要追溯到 1993 年。
在1993年，E.F.Codd 及其同事制定了下面这12条规则来定义 了 OLAP
准则1 OLAP模型必须提供多维概念视图
准则2 透明性准则
准则3 存取能力准则
准则4 稳定的报表能力
准则5 客户/服务器体系结构
准则6 维的等同性准则
准则7 动态的稀疏矩阵处理准则
准则8 多用户支持能力准则
准则9 非受限的跨维操作
准则10 直观的数据操纵
准则11 灵活的报表生成
准则12 不受限的维与聚集层次
OLAP场景的关键特征
大多数是读请求
数据总是以相当大的批(> 1000 rows)进行写入
不修改已添加的数据
每次查询都从数据库中读取大量的行，但是同时又仅需要少量的列
宽表，即每个表包含着大量的列
较少的查询(通常每台服务器每秒数百个查询或更少)
对于简单查询，允许延迟大约50毫秒
列中的数据相对较小：数字和短字符串(例如，每个URL 60个字节)
处理单个查询时需要高吞吐量（每个服务器每秒高达数十亿行）
事务不是必须的
对数据一致性要求低
每一个查询除了一个大表外都很小
查询结果明显小于源数据，换句话说，数据被过滤或聚合后能够被盛放在单台服务器的内存中
与OLAP 不同的是，OLTP系统强调数据库内存效率，强调内存各种指标的命令率，强调绑定变量，强调并发操作，强调事务性。
OLAP系统则强调数据分析，强调SQL执行时长，强调磁盘I/O，强调分区。
更多关于 OLTP 和 OLAP 的区别，也可以看下面这张图，不作为本文的重点，所以不再阐述了。
OLTP VS OLAP
OLAP开源引擎
目前市面上主流的开源OLAP引擎包含不限于：Hive、Spark SQL、Presto、Kylin、Impala、Druid、Clickhouse、Greeplum等，可以说目前没有一个引擎能在数据量，灵活程度和性能上做到完美，用户需要根据自己的需求进行选型。
从事数据开发工作的小伙伴，大概率用过以上的几种甚至全部。所以下面就开门见山了，默认大家熟悉大数据的专业名词和生态环境。
更多…,欢迎查看原文。（csdn写作平台不支持迁移文章）
https://mp.weixin.qq.com/s/wqjDrsUdSj_1T56yRz_kJg
选择适合你的开源 OLAP 引擎相关推荐
- 大数据评测报告：开源OLAP引擎综评（HAWQ、Presto、ClickHouse）
编者按 谈到大数据就会联想到Hadoop.Spark整个生态的技术栈.大家都知道开源大数据组件种类众多,其中开源OLAP引擎包含Hive.SparkSQL.Presto.HAWQ.ClickHouse ...
- 开源OLAP引擎测评报告
开源OLAP引擎测评报告 原创: 易观CTO 郭炜 Analysys易观 导读 现在大数据组件非常多,众说不一,在每个企业不同的使用场景里究竟应该使用哪个引擎呢?这是易观Spark实战营出品的开源Ol ...
- 开源OLAP引擎对比
文章目录 开源OLAP引擎对比 OLAP简介 分布式OLAP引擎分类及对比 基于MPP架构的ROLAP引擎 预计算引擎架构的MOLAP 搜索引擎架构 纯列存OLAP 基于内存的SnappyData 对 ...
- 该怎样选择适合自己的小游戏引擎？
随着微信生态中,小程序应用指数级的增长,许多休闲游戏变成为了众多游戏厂商流量变现的新手段.以近期很火的"羊了个羊"为例,它便是我们常常所说的小游戏. 游戏和小游戏的区别 要盘点小游 ...
- 开源OLAP引擎测评：Clickhouse vs TiDB vs Palo
作者:gzp1 原文来源: https://tidb.net/blog/9068e79b 附一条 Clickhouse vs TiDB vs Palo的测评文章,底下有传送门链接,有需要的自取~ 主要 ...
- 选择适合自己的 OLAP 引擎，干货
摘要:本文主要介绍了主流开源的OLAP引擎:Hive.Sparksql.Presto.Kylin.Impala.Druid.Clickhouse 等,逐一介绍了每一款开源 OLAP 引擎,包含架构.优 ...
- 实时数仓 | 你需要的是一款强大的 OLAP 引擎
在开源盛世的今天,实时数仓的建设业界已经有了成熟的方案.技术选型上实时计算.消息队列都有最优解,唯独在 OLAP 领域,百家争鸣,各有所长. 大数据领域开源 OLAP 引擎包括不限于 Hive.Haw ...
- 主流的 OLAP 引擎介绍 - OLAP极简教程
什么是OLAP ? 随着互联网.物联网.5G.人工智能.云计算等技术的不断发展,越来越多的数据在互联网上产生,对互联网的运营也开始进入精细化,因此大数据.数据分析.数字营销开始变成每个互联网企业的重点 ...
- 叮咚买菜基于 Apache Doris 统一 OLAP 引擎的应用实践
导读: 随着叮咚买菜业务的发展,不同的业务场景对数据分析提出了不同的需求,他们希望引入一款实时 OLAP 数据库,构建一个灵活的多维实时查询和分析的平台,统一数据的接入和查询方案,解决各业务线对数据高 ...
最新文章
- Stack and queue.
- 人工智能升格为国家战略 唐小僧积极发展金融科技
- P6222 「P6156 简单题」（反演 + 积性函数线性筛）
- API网关和AWS Lambda进行身份验证
- 线段树||BZOJ1593: [Usaco2008 Feb]Hotel 旅馆||Luogu P2894 [USACO08FEB]酒店Hotel
- 在虚拟机上运行vxWorks
- python中dumps和dump区别_python json.dumps() json.dump()的区别
- 设置手机项目首选参数
- jpa内网mysql_mysql+jpa简单实现步骤
- 构造一个简单的linux系统
- 《态度》- 吴军 四十封启明家书 读后感
- displaytag分页中文处理
- chardet demo
- 计算机网络——网线制作和局域网组建
- vgc机器人编程1到13题_工业机器人编程与实操期末试题
- zblog html代码,zblog代码大全，代码对应的中文，超详细
- 一个人的隔空喊话（于2012-08-12nbsp;0…
- C语言简易程序设计————7、输出特殊图案
- 如何评小学计算机课,小学信息技术优质课评选听课心得体会
- 如何在html中添加图片的自动滚播,制作网页中的滚动图片，怎样循环播放。