数仓OLAP(一)--即席查询 Kylin
一、Kylin
Apache Kylin 是一个开源的分布式分析引擎，提供 Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据。它能在亚秒内查询巨大的 Hive 表，可以做到在 TB 级的数据量上实现亚秒级的查询响应。
核心思想
Apache Kylin的核心思想是利用空间换时间，它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase中（目前还仅支持hbase），同时由于Apache Kylin在查询方面制定了多种灵活的策略，进一步提高空间的利用率，使得这样的平衡策略在应用中值得采用。
kylin主要是对hive中的数据进行预计算，利用hadoop的mapreduce框架实现。
kylin的出现就是为了解决大数据系统中TB级别数据的数据分析需求，而对于关系数据库中的数据分析进行预计算可能有点不合适了。
1、Kylin优点
Kylin 的主要特点包括支持 SQL 接口、支持超大规模数据集、亚秒级响应、可伸缩性、高吞吐率、BI 工具集成等。
- 标准 SQL 接口：Kylin 是以标准的 SQL 作为对外服务的接口。
- 支持超大数据集：Kylin 对于大数据的支撑能力可能是目前所有技术中最为领先的。早在 2015 年 eBay 的生产环境中就能支持百亿记录的秒级查询，之后在移动的应用场景中又有了千亿记录秒级查询的案例。
- 亚秒级响应：Kylin 拥有优异的查询相应速度，这点得益于预计算，很多复杂的计算，比如连接、聚合，在离线的预计算过程中就已经完成，这大大降低了查询时刻所需的计算量，提高了响应速度。
- 可伸缩性和高吞吐率&#x
数仓OLAP(一)--即席查询 Kylin相关推荐
- 数据仓库之电商数仓-- 5、即席查询Kylin
目录 一.Kylin 1.1 Kylin简介 1.1.1 Kylin定义 1.1.2 Kylin相关术语 1.1.3Kylin架构 1.1.4 Kylin特点 1.2 Kylin安装 1.2.1 Ky ...
- 离线数仓搭建_18_PrestoKylin即席查询
文章目录 19.0 即席查询 1.1.1 Presto概念 1.1.2 Presto架构 1.1.3 Presto优缺点 1.1.4 Presto.mpala性能比较 1.2 Presto0安装 1. ...
- OLTP、OLAP、即席查询(ad hoc query)区别与联系
对于目前来讲,对数据的处理主要集中在两个方面,一种是联机事务处理 OLTP(on-line transaction processing),另一种是联机分析处理 OLAP(On-Line Analyt ...
- 尚硅谷大数据项目之电商数仓（4即席查询数据仓库）
尚硅谷大数据项目之电商数仓(即席查询) (作者:尚硅谷大数据研发部) 版本:V4.0 第1章 Presto 1.1 Presto简介 1.1.1 Presto概念 1.1.2 Presto架构 1.1 ...
- 聊聊数仓中TPCD-DSTPC-H与查询性能的那些事儿
本文分享自华为云社区<GaussDB(DWS) <DWS之TPCD-DS&TPC-H与查询性能的那些事儿>>,作者: 一剑战八荒 . 1 综述 本文目标在于,详细讲述使 ...
- 漫谈数仓『OLAP』
一 概念 1.1 什么是OLAP? OLAP(OnLine Analytical Processing),即联机分析处理.OLAP对业务数据执行多维分析,并提供复杂计算,趋势分析和复杂数据建模的能力. ...
- 从数仓到数据中台，谈技术选型最优解
本文根据颜博老师在[Deeplus直播第218期]线上分享演讲内容整理而成. 颜博 马蜂窝数仓研发总监 现任马蜂窝数据仓库团队负责人,曾供职于京东.IBM.亚信等公司. 数据行业老兵一名,历经传统数据 ...
- 系列 | 漫谈数仓第四篇NO.4 『数据应用』（BIOLAP）
点击上方蓝色字体,置顶/星标哦 目前10000+人已关注加入我们 本文目录CONTENTS ☞ 01.可视化BI工具 [ 开源BI,商业BI,传统BI ] ☞ 02.OLAP科普 [ ROLAP M ...
- 大数据演进简史：从数仓到数据中台，谈技术选型最优解
大家好,今天分享的议题主要包括几大内容: 带大家回顾一下大数据在国内的发展,从传统数仓到当前数据中台的演进过程: 我个人认为数据中台的核心组成,以及一些技术选型参考: 数据研发是数据中台很重要的一环, ...
- Data_Warehouse(DW 数仓（一）)
什么是数仓?和数据库有什么区别 数据库是按照结构来组织存储数据的仓库,用户可以对其中的数据进行增删改查操作,数据库主要是面向事务处理任务.数据库的数据多是面向业务的,对企业战略决策信息作用有限.原因大 ...
最新文章
- 打开深度神经网络黑箱：竟是模块化的？图聚类算法解密权重结构 | ICML 2020
- sklearn中knn的各种用法总结
- python处理nc文件并输出_利用python如何处理nc数据详解
- IOS UIPageController
- python课程索引-0222
- RabbitMQ和Kafka的显著差异（2）
- Style Lessons in Clarity and Grace (11th Edition)中文翻译
- 矩池云上使用nohup和让任务后台运行
- 浅谈C#中的延“.NET研究”迟加载（2）——善用virtual
- C#--打包安装项目
- SQL SERVER对象名无效/执行成功但有错误(初学者易犯错误)
- 降钙素(Cys(Acm)²·⁷)-α-CGRP (human)、125448-83-1
- Openpose 配置pose，pose+ face，pose+face+hand的方法
- linux scp 排除文件夹,scp复制文件时排除指定文件
- AI就是闭上眼想要一份凉皮，睁开眼就会有一份凉皮摆在眼前
- 一文读懂GPU服务器
- 服务器操作系统密码忘记,服务器操作系统密码忘记了
- 出现`webpack-dev-server --inline --progress --config build/webpack.dev.conf.js`报错
- 解决 iOS 上 transform rotate 兼容问题
- python 欧氏距离(Euclidean Distance) 曼和顿距离等距离