presto(一) presto概述

presto背景及发展

长话短说，大数据时代，hadoop的解决方案，解决了完美的大数据存储和很好的解决了计算的问题，但是由于hadoop采用的是一套MR的解决方案，这就导致hadoop可以解决大批量的离线计算问题但是不能很好的解决AC-hoc的问题，faceBook开源了presto

presto的特点

多数据源
支持sql
支持混合查询
拓展性
混合计算
高性能
内存计算，流水线

presto的服务进程

coordinator ：coordinator为整个presto的管理节点，接受客户端的查询，查询语句的解析，生成查询语句执行计划，stage和task的调度。
worker：在presto集群中存在多个work节点和一个coordinator节点，work节点处理task并执行以及进一步对task读入的spit进行一系列的操作和处理，每隔一段时间想coordinator通报自己的情况，coordinator会在存货的worker中挑选出还是worker节点去运行task

presto的模型

connectorpresto通过各种各项的connect来连接数据源，connect的信息配置在$PRESTO_HOME/etc/catalog/xxxx.properties,其中connection.name,presto就使用这个参数来确定使用那个connector来访问这个数据源。
catalog一个catalog类似一个MySQL的实例，其中xxx.properties.的文件名字就是catalog的名字，xxx.properties中描述了相关的连接信息。
schema类似一个数据库
table类似一个table

presto的执行流程

client---coordinate---多个worker---query---拆分成多个stage--中间通过exchange连接---拆分成task---一个或者多个driver
---spit--多个oprate--page（1M 16*1024数据）---多个block

presto(一) presto概述相关推荐

presto 0.166概述
presto是什么是Facebook开源的,完全基于内存的并⾏计算,分布式SQL交互式查询引擎是一种Massively parallel processing (MPP)架构,多个节点管道式执⾏ ...
Presto学习-presto介绍
1.presto基本概念 1.1 presto服务进程 presto集群中一共有两种服务器进程:coordinator服务进程和worker服务进程,其中coordinator服务进程的主要作用是:接 ...
【presto】presto编译报错整理(大全)
问题一: 报错信息: 1) Explicit bindings are required and com.facebook.presto.execution.TaskManager is not ex ...
Presto (一) --------- Presto 简介
目录一.Presto 概念二.Presto 架构三.Presto 优缺点四.Presto.Impala 性能比较一.Presto 概念 Presto 是一个开源的分布式 SQL 查询引擎,数 ...
深入理解Presto(1) : Presto的架构
简介 Presto是一个facebook开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节.presto的架构由关系型数据库的架构演化而来.presto之所以能在各个内存计算型 ...
【presto 】presto 新版本升级详情
一.前言升级版本: 旧版本:0.220 → 新版本: 0.269 升级目的: 新版本对于老版本做了很多优化,提高服务稳定性. 新版本需要兼容老版本的功能,并且对业务方是透明的. 引入更为严格的内存判 ...
Presto (二) --------- Presto 安装
目录一.Presto Server 安装二.Presto 命令行 Client 安装三.Presto 可视化 Client 安装一.Presto Server 安装 A.官网地址 https: ...
Presto (三) --------- Presto 优化
目录一.数据存储二.查询 SQL 三.注意事项一.数据存储 A.合理设置分区与 Hive 类似,Presto 会根据元数据信息读取分区数据,合理的分区能减少Presto 数据读取量,提升查询性 ...
【presto】presto查询报错整理
问题一: 报错内容: Error running query: Corrupted statistics for column "[firstcontactsname] optional b ...

presto(一) presto概述

presto背景及发展

presto的特点

presto的服务进程

presto的模型

presto的执行流程

presto(一) presto概述相关推荐

最新文章

热门文章