即席查询之Presto
即席查询Presto
1 Presto简介 Presto是一个开源的、分布式SQL查询引擎、数据量支持GB到PB，主要用来处理秒级查询。
虽然Presto可以解析SQL，但它不是一个标准的数据库，不是MySQL的替代品，也不能用来处理在线事务。
1.1 Prosto架构 Presto CLI ：Presto客户端，将执行的SQL发送给Presto Coordinator
Presto Coordinator：Presto协调器，接受客户端发来的SQL解析成任务发送给PrestoWorker去执行
Presto Worker：执行Coordinator发来的任务，处理数据。
Catalog：数据源。
Connector：连接器，对接不同的数据源，需要不同的连接器。
只要拿到Hive的元数据信息，就能查询数据。因为Hive的元数据存储了有哪些表，表在HDFS上的路径。
获取Hive的元数据的方式有两种：1是直连Hive，2通过Hive的metastore（Presto） Kafka的话，只要拿到bootstrap server地址和topic，那就能够查询数据了
Schema：类似于mysql的数据库database
Table：表
Hive Metastore：Hive的metastore服务，启动了metastore服务，只要在Hive Connector中配置了metastore的地址，那么就能查询到元数据信息。能拿到元数据那就能查询到数据。
即席查询之Presto相关推荐
- #数据技术选型#即席查询Shib+Presto，集群任务调度HUE+Oozie
郑昀 创建于2014/10/30 最后更新于2014/10/31 一)选型:Shib+Presto 应用场景:即席查询(Ad-hoc Query) 1.1.即席查询的目标 使用者是产品/运营/销售运营 ...
- 【电商数仓】数仓即席查询之Presto简介，安装，Presto优化之数据存储、查询SQL、一些注意事项
文章目录 一 Presto简介 1 Presto概念 2 Presto架构 3 Presto优缺点 4 Presto.Impala性能比较 二 Presto安装 1 Presto Server安装 2 ...
- 数据仓库(六)---分布式SQL查询引擎---presto介绍
我们在之前的文章中已经学习了数据仓库hive,如果要对数据仓库进行交互查询,则需要交互查询的引擎用于提高查询效率.本章介绍presto. 简介 Presto是一个开源的分布式SQL查询引擎,适用于实时 ...
- 即席查询Presto
文章目录 1.Presto简介 1.1Presto概念 1.2Presto架构 1.3Presto优缺点 2.Presto安装 2.1Presto Server安装 2.2Presto命令行Clien ...
- 数仓即席查询---Presto
Presto简介 presto是一个开源的分布式SQL查询引擎,数据量支持GB到PB级,主要用来处理秒级查询场景 ps:虽然presto可以解析SQL,但它不是一个标准的数据库,不是MySQL,ora ...
- Shib+Presto 即席查询
1.1.即席查询的目标 使用者是产品/运营/销售运营的数据分析师: 要求数据分析师掌握查询SQL查询脚本编写技巧,掌握不同业务的数据存储在不同的数据集市里: 不管他们的计算任务是提交给 数据库 还是 ...
- Kylin、druid、presto、impala四种即席查询对比--（转载）
一.什么是即席查询 即席查询是用户根据自己的需求,灵活的选择查询条件,系统根据用户的选择生成相应的统计报表.普通查应用查询是定制开发的,即席查询是用户自定义查询条件 理解:快速的执行自定义SQL(可能 ...
- 是选impala还是presto_Kylin、druid、presto、impala四种即席查询对比
一.什么是即席查询 即席查询是用户根据自己的需求,灵活的选择查询条件,系统根据用户的选择生成相应的统计报表.普通查应用查询是定制开发的,即席查询是用户自定义查询条件 理解:快速的执行自定义SQL(可能 ...
- 即席查询——Presto
1 Presto安装 1.1 Presto Server安装 1)导入安装包 [zhang@hadoop102 software]$ mkdir presto [zhang@hadoop102 sof ...
- #研发解决方案#数据开放实验室：再战即席查询和数据开放
创建于2017/9/7 最后更新于2017/9/16 关键词:大数据,HBase,数据开放,即席查询,数据授权,HDFS,Zeppelin,Kylin, 提纲: 解决什么场景 即席查询的发展历程 五个 ...
最新文章
- 大厂产品专家是怎么做项目的？
- extern相关问题
- 常用面试题（对应的知识点）
- Online Coding开发模式 (通过在线配置实现一个表模型的增删改查功能，无需写任何代码)
- 输入一颗二元树，从上向下按层打印树的每个节点，同一层中，按照从左到右的顺序打印。...
- 当下大数据体系的4个热点，4个趋势和3个问题
- 为何要弃 Java、Swift 于不顾，而选择 Python？
- 80.简单搭建nodeJS服务，访问本地站点文件
- Java中的静态方法、类方法、成员方法、构造方法、非静态方法，各方法的定义以及个方法的功能详解大全
- 毕设 学生信息管理系统论文
- html双人对战源码,双人对战五子棋游戏 综合运用HTML、CSS、JavaScript实现
- 疑犯追踪第一季/全集Person Of Interest迅雷下载
- xp系统 共享文件夹服务器,WinXP如何共享文件夹？共享文件夹的方法
- 机器学习教程 之 SKlearn 中 PCA 算法的运用：人脸识别实例
- 第九章 使用结构体类型处理组合数据——用户自定义数据类型
- EMI+ EMC基础知识
- 条码生成软件如何批量生成Code39码
- 拒绝毒瘤：推特正试图让“回复人”闭嘴
- 疑难杂症篇(十三)--Java中出现“找不到符号“的错误解决方案
- zbbz的lisp_Github上四种Lisp方言的流行度