Presto简介

presto是一个开源的分布式SQL查询引擎,数据量支持GB到PB级,主要用来处理秒级查询场景
ps:虽然presto可以解析SQL,但它不是一个标准的数据库,不是MySQL,oracle的代替品,也不能用来处理在线事务(OLTP);官网:https://prestodb.io/

Presto架构

Presto由一个coordinator和多个worker组成

Presto优缺点

优点

1.基于内存计算,减少了磁盘IO,计算更快
2.能够连接多个数据源,跨数据源连表查,如从hive查询大量网站访问记录,然后从MySQL中匹配出设备信息

缺点

presto能够处理PB级别的海量数据分析,但presto并不是把PB级数据都放在内存中计算的;而是根据场景,如count,AVG等聚合运算,是边读数据边计算,再清内存,再读数据再计算,这种耗内存并不高;但是连表查询,就可能产生大量的临时数据,因此速度会变慢,反而hive此时更擅长

Presto和impala的对比

这个文章写得很好:https://blog.csdn.net/u012551524/article/details/79124532
测试结论：Impala性能稍领先于Presto，但是Presto在数据源支持上非常丰富，包括Hive、图数据库、传统关系型数据库、Redis等

Presto安装

Presto Server安装

1.官网地址:https://prestodb.github.io/
2.下载地址:https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.196/presto-server-0.196.tar.gz
3.将文件上传到/home/hadoop-jrq/bigdata下
4.解压:tar -zxvf presto-server-0.196.tar.gz
5.修改名称为presto:mv presto-server-0.196/ presto
6.进入presto目录，并创建存储数据文件夹:mkdir data
7.创建存储配置文件文件夹:mkdir etc
8.在presto/etc目录下添加jvm.config配置文件
vi jvm.config
添加内容:

-server
-Xmx16G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError

9.Presto可以支持多个数据源，在Presto里面叫catalog，配置支持Hive的数据源，配置一个Hive的catalog
注意,是在presto/etc目录下
mkdir catalog
cd catalog
vi hive.properties
添加如下内容:

connector.name=hive-hadoop2
hive.metastore.uri=thrift://master:9083

10.将master上的presto分发到slave1、slave2

scp -r ~/bigdata/presto hadoop-jrq@slave1:~/bigdata/
scp -r ~/bigdata/presto hadoop-jrq@slave2:~/bigdata/

11.分发之后，分别进入master、slave1、slave2三台主机的presto/etc的路径。配置node属性，node id每个节点都不一样。
vi node.properties

master:
node.environment=production
node.id=ffffffff-ffff-ffff-ffff-ffffffffffff
node.data-dir=/home/hadoop-jrq/bigdata/presto/data
slave1:
node.environment=production
node.id=ffffffff-ffff-ffff-ffff-fffffffffffe
node.data-dir=/home/hadoop-jrq/bigdata/presto/data
slave2:
node.environment=production
node.id=ffffffff-ffff-ffff-ffff-fffffffffffd
node.data-dir=/home/hadoop-jrq/bigdata/presto/data

12.Presto是由一个coordinator节点和多个worker节点组成。在master上配置成coordinator，在slave1、slave2上配置为worker。
master上配置coordinator节点(etc下)
vi config.properties

coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=8881
query.max-memory=50GB
discovery-server.enabled=true
discovery.uri=http://master:8881

slave1、slave2上配置worker节点
vi config.properties

coordinator=false
http-server.http.port=8881
query.max-memory=50GB
discovery.uri=http://master:8881

13.启动Hive Metastore

nohup hive --service metastore > ~/bigdata/hive/logs/metastore.log 2>&1 &

14.分别在master、slave1、slave2上启动Presto Server
前台启动Presto，控制台显示日志（第一次运行建议用这个,可以直接打印日志信息,如果有错误也好直接定位）

bin/launcher run

后台启动Presto

 bin/launcher start

15.日志查看路径presto/data/var/log
16.问题点:
1)Java HotSpot™ 64-Bit Server VM warning: INFO: os::commit_memory(0x0000000480000000, 2818572288, 0) failed; error=‘Cannot allocate memory’ (errno=12)
原因:机器的内存大小不够
解决:
config.properties的query.max-memory值视你的机器内存更改
2)java.lang.IllegalArgumentException: No factory for connector hive-maste
原因:hive.properties配置需要指定hadoop的版本
改成这样就可以了connector.name=hive-hadoop2

Presto命令行Client安装

1.下载Presto的客户端
https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.196/presto-cli-0.196-executable.jar
2.将presto-cli-0.196-executable.jar上传到master的bigdata/presto文件夹下
3.修改文件名称
mv presto-cli-0.196-executable.jar prestocli
4.增加执行权限
chmod +x prestocli
5.启动prestocli
./prestocli --server master:8881 --catalog hive --schema default
6.Presto命令行操作
Presto的命令行操作，相当于Hive命令行操作。每个表必须要加上schema(数据库名)。
例如：
select * from schema.table limit 100

Presto可视化Client安装

1.下载
https://github.com/yanagishima/yanagishima
2.将yanagishima-18.0.zip上传到master的/home/hadoop-jrq/bigdata目录

3.解压缩yanagishima
unzip yanagishima-18.0.zip
cd yanagishima-18.0
4.进入到yanagishima-18.0/conf文件夹，编写yanagishima.properties配置
vi yanagishima.properties
添加内容

jetty.port=7080
presto.datasources=atiguigu-presto
presto.coordinator.server.atiguigu-presto=http://hadoop102:8881
catalog.atiguigu-presto=hive
schema.atiguigu-presto=default
sql.query.engines=presto

5.yanagishima-18.0路径下启动yanagishima
nohup bin/yanagishima-start.sh >y.log 2>&1 &
6.启动web页面
http://hadoop102:7080
看到界面，进行查询了。
7.查看表结构

这里有个Tree View，可以查看所有表的结构，包括Schema、表、字段等。

Presto优化之

数据存储方面的优化

1.合理设置分区
与Hive类似，Presto会根据元数据信息读取分区数据，合理的分区能减少Presto数据读取量，提升查询性能。
2.使用列式存储
Presto对ORC文件读取做了特定优化，因此在Hive中创建Presto使用的表时，建议采用ORC格式存储。相对于Parquet，Presto对ORC支持更好。
3.使用压缩
数据压缩可以减少节点间数据传输对IO带宽压力，对于即席查询需要快速解压，建议采用Snappy压缩。

查询SQL优化

1.只选择使用的字段
由于采用列式存储，选择需要的字段可加快字段的读取、减少数据量。避免采用*读取所有字段。
2.过滤条件必须加上分区字段
对于有分区的表，where语句中优先使用分区字段进行过滤。acct_day是分区字段，visit_time是具体访问时间。
3.Group By语句优化
合理安排Group by语句中字段顺序对性能有一定提升。将Group By语句中字段按照每个字段distinct数据多少进行降序排列。
比如:

[GOOD]: SELECT GROUP BY uid, gender[BAD]:  SELECT GROUP BY gender, uid

4.Order by时使用Limit
Order by需要扫描数据到单个worker节点进行排序，导致单个worker需要大量内存。如果是查询Top N或者Bottom N，使用limit可减少排序计算和内存压力。
5.使用Join语句时将大表放在左边
Presto中join的默认算法是broadcast join，即将join左边的表分割到多个worker，然后将join右边的表数据整个复制一份发送到每个worker进行计算。如果右边的表数据量太大，则可能会报内存溢出错误。

注意事项

1.字段名引用
避免和关键字冲突：MySQL对字段加反引号`、Presto对字段加双引号分割
当然，如果字段名称不是关键字，可以不加这个双引号。
2.时间函数
对于Timestamp，需要进行比较的时候，需要添加Timestamp关键字，而MySQL中对Timestamp可以直接进行比较。

/*MySQL的写法*/
SELECT t FROM a WHERE t > '2017-01-01 00:00:00';
/*Presto中的写法*/
SELECT t FROM a WHERE t > timestamp '2017-01-01 00:00:00';

3.不支持INSERT OVERWRITE语法
Presto中不支持insert overwrite语法，只能先delete，然后insert into。
4.PARQUET格式
Presto目前支持Parquet格式，支持查询，但不支持insert。

数仓即席查询---Presto相关推荐

【电商数仓】数仓即席查询之Presto简介，安装，Presto优化之数据存储、查询SQL、一些注意事项
文章目录一 Presto简介 1 Presto概念 2 Presto架构 3 Presto优缺点 4 Presto.Impala性能比较二 Presto安装 1 Presto Server安装 2 ...
数仓即席查询之 Persto
文章目录 Presto简介 Presto概念 Presto架构 Presto优缺点 Presto.Impala性能比较 Presto安装 Presto Server安装 Presto命令行Client ...
【电商数仓】数仓即席查询之Kylin Cube构建原理和构建优化
文章目录一 Kylin Cube构建原理 1 维度和度量 2 Cube和Cuboid 3 Cube构建算法 (1)逐层构建算法(layer) (2)快速构建算法(inmem) 4 Cube存储原理 ...
即席查询Presto
文章目录 1.Presto简介 1.1Presto概念 1.2Presto架构 1.3Presto优缺点 2.Presto安装 2.1Presto Server安装 2.2Presto命令行Clien ...
即席查询——Presto
1 Presto安装 1.1 Presto Server安装 1)导入安装包 [zhang@hadoop102 software]$ mkdir presto [zhang@hadoop102 sof ...
基于 Apache Doris 数仓在作业帮的实践
1 背景作业帮大数据团队主要负责建设公司级数仓,向公司各个重要产品线(拉新.教学.BI等)提供面向业务的数据信息,如到课时长.答题情况等.在过去半年多时间内,我们基于Apache Doris,构建了 ...
数据仓库系列文章一：浅谈数仓设计
数仓设计指对数据仓库的各项组成进行规划,在正式建设数仓之前形成指导性建设方案. 数仓设计主要分为两部分:数据仓库同操作型业务系统的数据接口设计和数仓自身建设设计. 本文从多个方面探讨数仓的设计要点,给 ...
本地数仓项目(四）—— 即席查询
1 背景本文描述本地数仓项目即席查询相关内容,主要涉及即席查询工具包括Presto.Druid.Kylin. 本文基于文章<本地数据仓库项目(一) -- 本地数仓搭建详细流程> 和< ...
离线数仓搭建_18_PrestoKylin即席查询
文章目录 19.0 即席查询 1.1.1 Presto概念 1.1.2 Presto架构 1.1.3 Presto优缺点 1.1.4 Presto.mpala性能比较 1.2 Presto0安装 1. ...

数仓即席查询---Presto