23_多易教育之《yiee数据运营系统》OLAP平台-整体概述篇
目录
一、OLAP 平台概述
二、OLAP平台需求示例
三、Presto集群搭建
多易教育,专注大数据培训; 课程引领市场,就业乘风破浪
多易教育官网地址
https://www.51doit.cn
多易教育在线学习平台
https://v.51doit.cn
一、OLAP 平台概述
OLAP: 联机在线数据分析系统
olap平台是提供给运营人员进行各种联机数据分析的人性化平台
按照查询类型划分,OLAP一般分为即席查询和固化查询,
即席查询:通过手写sql完成一些临时的数据分析需求,这类sql形式多变、逻辑复杂,对查询时间没有严格要求
固化查询:指的是一些固化下来的取数、看数需求,通过数据产品的形式提供给用户,从而提高数据分析和运营的效率。这类的sql固定模式,对响应时间有较高要求。
按照架构实现划分,主流的OLAP引擎主要有下面三点:
MPP架构系统(Presto/Impala/SparkSQL/Drill等)。这种架构主要还是从查询引擎入手,使用分布式查询引擎,而不是使用hive+mapreduce架构,提高查询效率。
搜索引擎架构的系统(es,solr等),在入库时将数据转换为倒排索引,采用Scatter-Gather计算模型,牺牲了灵活性换取很好的性能,在搜索类查询上能做到亚秒级响应。但是对于扫描聚合为主的查询,随着处理数据量的增加,响应时间也会退化到分钟级。
预计算系统(Druid/Kylin等)则在入库时对数据进行预聚合,进一步牺牲灵活性换取性能,以实现对超大数据集的秒级响应。
本项目olap的技术选型:
底层存储层:hive
中间查询层:presto(既能满足固化查询,也能满足即席查询)
(类似产品: clickhouse—俄罗斯,c语言开发的; druid—apache项目;都可以做联机数据分析OLAP!)
之所选择presto,是因为它支持海量数据的复杂、随机、实时查询,且能够非常方便地与现有系统中的数据源进行无缝对接!
平台界面层:springboot+前端
二、OLAP平台需求示例
本OLAP平台上提供的数据分析主要有两种
常规报表数据的实时查询分析
分析的数据源于hive固定批处理任务每天定时运行的结果
自定义报表的联机实时分析
分析的数据源于presto对hive中的数据进行实时自定义计算
三、Presto集群搭建
详见《【多易教育】-Presto教程-v1.0》
多易教育,专注大数据培训; 课程引领市场,就业乘风破浪
多易教育官网地址
https://www.51doit.cn
多易教育在线学习平台
https://v.51doit.cn
23_多易教育之《yiee数据运营系统》OLAP平台-整体概述篇相关推荐
- 19_多易教育之《yiee数据运营系统》用户画像-算法导论篇
目录 一.机器学习概念 二.机器学习算法的分类 1.监督学习 2.无监督学习 3.半监督学习 4.向量入门 三.机器学习的常见算法 四.基本数学知识 1.向量入门 2.向量的距离(相似度) 3.矩阵入 ...
- 29_多易教育之《yiee数据运营系统》附录:扩展知识点汇总系列二
目录 一.OLAP多维分析概念及函数 1.cube导论 2.cube核心操作 1).cube核心操作 2).DICE (切块) 3).ROLL UP (上卷) 4).DRILL DOWN (下钻) 5 ...
- 从零构建FLINK整合Drools动态规则实时运营系统(项目案例)第2篇(业务介绍篇)
项目简介 本案例是一个专注于flink动态规则计算的项目,核心技术组件涉及flink.hbase.clickhouse.drools等 项目可根据各类个性化需求进行二次开发后,直接用于实时运营,实时风 ...
- 从零构建FLINK整合Drools动态规则实时运营系统(项目案例)-第5篇(用户画像篇)
前言 项目介绍在线视频: https://www.bilibili.com/video/BV1zv41157yY 本案例是一个专注于flink动态规则计算的项目,核心技术组件涉及flink.hbase ...
- 全球及中国STEAM素质教育行业发展价值与运营能力状况分析报告2022版
全球及中国STEAM素质教育行业发展价值与运营能力状况分析报告2022版 HS--HS--HS--HS--HS--HS--HS--HS--HS--HS--HS--HS-- [修订日期]:2021年11 ...
- 易观发布全新易观方舟智能用户运营产品套件及ARGO成长模型
2019年12月26日,国内领先的数据技术服务商Analysys易观,正式对外发布全新的易观方舟智能用户运营产品套件及ARGO成长模型. 在零售电商.在线教育.金融服务.传统企业互联网+转型等领域,用 ...
- 易观的大数据中台之路
作者 | 易观CTO郭炜 出品 | AI科技大本营(ID:rgznai100) 本文为CSDN即将推出的<新战场:决胜中台>专刊的第 2 篇文章. 什么是数据中台? 中台的定义来自于投资银 ...
- 中国民办教育市场需求与运营策略建议报告2022版
中国民办教育市场需求与运营策略建议报告2022版 HS--HS--HS--HS--HS--HS--HS--HS--HS--HS--HS--HS-- [修订日期]:2021年11月 [搜索鸿晟信合研究院 ...
- 【中国数据创新琅琊榜】数联易康医疗大数据平台,创新健康医疗产业变革的推动者和见证者!
古之"琅琊榜"让最优秀的青年才俊闻名天下,而"中国数据创新琅琊榜"正是为积极鼓励那些在各自领域不断创新,不断突破的企业,从行业角度出发,对以数据创新驱动业务发展 ...
- 多易教育KAFKA实战(3)-java消费者客户端API示例代码
本节目录 入门程序 消费日志topic 滑动窗口统计消费topic 1 入门程序 public class ConsumerDemo {public static void main(String[] ...
最新文章
- 十年难得一遇!从数据误删到全量恢复的惊险记录
- dns tunnel CC
- 使用Grunt搭建自动化的web前端开发环境-完整教程
- C语言:构建一个二级链表并完成增删改查
- 2017中国大学生程序设计竞赛-哈尔滨站(2/13)
- ASA8.4policy-map接口和全局执行的优先级测试:
- 100阶乘末尾有多少个零
- MySQL基本分区表
- python基础(一)简单入门
- 快速开发工作流_02_集成在线流程设计器
- Pandas timedelta_range
- Android 手势检测实战 打造支持缩放平移的图片预览效果(下)
- 计算机网络入门知乎,网络工程师论文发表范文简述计算机网络基础教学
- Cadence Allegro交换元件位置图文教程及视频演示
- 人人商城小程序 java版_人人商城小程序用户授权问题
- 两阶段网络DEA及其计算
- windows10强制删除文件_360都删除不了顽固文件?别慌,不足1M的工具帮你强制清理...
- Java内存分配及值、引用的传递
- 什么是开环控制,闭环控制?它们的根本区别是什么
- Generic XDP Hook