前言

本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和文献引用请见1000个问题搞定大数据技术体系

正文

Apache Kylin 的使命

Apache Kylin 的使命是超高速的大数据 OLAP ( OnlineAnalyticalProcessing )，也就是要让大数据分析像使用数据库一样简单迅速，用户的查询请求可以在秒内返回，交互式数据分析将以前所未有的速度释放大数据里潜藏的知识和信息，让我们在面对未来的挑战时占得先机。

预计算

ApacheKylin 的初衷就是要解决千亿条、万亿条记录的秒级査询问题，其中的关键就是要打破査询时间随着数据量成线性增长的这个规律。

仔细思考大数据 OLAP ，可以注意到两个事实：

大数据查询要的一般是统计结果，是多条记录经过聚合函数计算后的统计值。
原始的记录则不是必需的，或者访问频率和概率都极低。
聚合是按维度进行的，由于业务范围和分析需求是有限的，有意义的维度聚合组合也是相对有限的，一般不会随着数据的膨胀而增长。

基于以上两点，我们可以得到一个新的思路一一“预计算”。

应尽量多地预先计算聚合结果，在查询时刻应尽量使用预算的结果得出查询结果，从而避免直接扫描可能无限增长的原始记录。

Apache Kylin 的预计算是怎么回事？相关推荐

一文读懂Apache Kylin(麒麟)
"麒麟出没,必有祥瑞." -- 中国古谚语 Kylin思维导图前言随着移动互联网.物联网等技术的发展,近些年人类所积累的数据正在呈爆炸式的增长,大数据时代已经来临.但是海量数据 ...
一文读懂Apache Kylin
感谢分享. http://www.jianshu.com/p/abd5e90ab051?utm_campaign=maleskine&utm_content=note&utm_medi ...
Apache Kylin在百度地图的实践
1. 前言百度地图开放平台业务部数据智能组主要负责百度地图内部相关业务的大数据计算分析,处理日常百亿级规模数据,为不同业务提供单条SQL毫秒级响应的OLAP多维分析查询服务. 对于Apache Ky ...
Apache Kylin
"麒麟出没,必有祥瑞." -- 中国古谚语 Kylin思维导图前言随着移动互联网.物联网等技术的发展,近些年人类所积累的数据正在呈爆炸式的增长,大数据时代已经来临.但是海量数据 ...
Apache Kylin | 麒麟出没，必有祥瑞
点击上方蓝色字体,选择"设为星标" 回复"资源"获取更多资源大数据技术与架构点击右侧关注,大数据开发领域最强公众号! 暴走大数据点击右侧关注,暴走大数据! ...
Apache Kylin从入门到精通
Kylin 文章目录 Kylin 一.概述 1.1 Kylin定义 1.2 Kylin架构 1.3 Kylin特点 1.4 Apache Kylin4 概述为什么选择 Parquet 替换 HBas ...
Apache Kylin新手入门指南
Apache Kylin新手入门指南文章目录 Apache Kylin新手入门指南 1 Apache Kylin是什么 2 为什么使用Apache Kylin 3 Apache Kylin的易用性如 ...
一篇文章搞懂 Apache Kylin 4.x 的技术架构
前言本文隶属于专栏<1000个问题搞定大数据技术体系>,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢! 本专栏目录结构和文献引用请见1000个问题搞定大数据技 ...
Apache Kylin在绿城客户画像系统中的实践
前言 \\ 作为国内知名的房地产开发商,绿城经过24年的发展,已为全国25万户.80万人营造了美丽家园,并将以"理想生活综合服务提供商"为目标,持续为客户营造高品质的房产品和生活服 ...

Apache Kylin 的预计算是怎么回事？

前言

正文

Apache Kylin 的使命

预计算

仔细思考大数据 OLAP ，可以注意到两个事实：

Apache Kylin 的预计算是怎么回事？相关推荐

最新文章

热门文章