【博学谷学习记录】超强总结，用心分享| presto框架

2024-04-27 12:23:35

1.介绍

1、Presto是FaceBook研发，和Hive是同一个母公司
2、Presto是一个基于内存的计算引擎
3、Presto等价于: Hive + MR + Yarn
4、Presto可以跨数据源
insert into mysql.demo.table1
select * from hive.yp_prt.order_count;
5、Presto不擅长进行大量的join操作，所以一般用在大数据分析的中后期

2.Presto特点

速度：Presto/Trino是一个高度并行的分布式查询引擎，适用于高效、低延迟的交互式查询，

能够解决Facebook这样大规模的商业数据仓库交互式分析和处理的速度问题。

规模：数据量支持EB级的数仓和数据湖；

简单：它支持标准的ANSI SQL，包括复杂查询、聚合（Aggregation）、连接（Join）和窗口

函数（Window Functions)，安装配置简单；

多才多艺：快速的交互式即席分析、数小时的大规模批处理查询，以及执行亚秒级查询的大容量应用；

广泛兼容：Presto本身并不存储数据，但是可以接入多种数据源：不仅支持Hive，还支持mysql、 oracle等关系型数据库，也支持kafka、redis、MongoDB等非关系型数据库，对于实时数据库 ClickHouse也能够完美支持。

就地分析：通过Presto，可以在Hadoop、Mysql等数据库本地查询数据，而无需进行复杂、缓慢且容易出错的数据复制过程；

联合查询：Presto支持跨数据源的联合查询，一个Presto查询可以跨越多个系统进行分析。例

如将Hive中的学生表与Mysql中的班级表进行关联。也可以将mysql库中的表数据直接读取插入到

hive中。

3.Presto的启动

命令行启动

#hadoop01启动
/export/server/presto/bin/launcher start#hadoop02启动
/export/server/presto/bin/launcher start

脚本启动

#!/bin/bashPRESTO_DIR=/export/server/presto/binfor n in 1 2
dossh root@hadoop0$n "source /etc/profile;${PRESTO_DIR}/launcher $1"
done#测试
chmod +x one_key.
./one_key.sh start

【博学谷学习记录】超强总结，用心分享| presto框架相关推荐

[博学谷学习记录]超强总结,用心分享|第07节常用的API-----笔记篇
目录 1.API 1.1 API概述-帮助文档的使用 1.2 键盘录入字符串 2. String类 2.1 String概述 2.2 String类的构造方法 2.4 创建字符串对象的区别对比 2.5 ...
{博学谷学习记录} 超强总结,用心分享|狂野架构师-前置互联网架构演变过程
本章以系统架构,数据架构,两种维度来进行讲解目录 1 系统架构 1,1 单体架构 1.2 中台战略 2 数据库架构 2,1 单体架构 2.2 主从读写 2.3 分库分表 3 总结 1 系统架构 1, ...
[博学谷学习记录]超强总结,用心分享|架构 Nacos入门
提示:学习笔记欢迎指点文章目录前言一.Nacos安装二.Nacos服务注册与发现 1.服务提供者Provider 2.服务消费者Consumer 三.Nacos作为配置中心前言 Nacos ...
[博学谷学习记录]超强总结,用心分享|架构敏捷 - 开发管理之道
提示:学习笔记欢迎指点文章目录 1.敏捷开发思想之道 2.面向对象开发之道 3.敏捷学习之道 1.敏捷开发思想之道一名敏捷开发者,敏捷思想的掌握自然首当其冲.在敏捷开发实施的过程中,我们虽然不是 ...
[博学谷学习记录]超强总结,用心分享|第16节集合续-----笔记篇
目录 1.HashSet集合 1.1HashSet集合概述和特点[应用] 1.2HashSet集合的基本应用[应用] 1.3哈希值[理解] 1.4哈希表结构[理解] 1.5HashSet集合存储学生对 ...
[博学谷学习记录] 超强总结，用心分享|陌陌综合案例
注:大家觉得博客好的话,别忘了点赞收藏呀,本人每周都会更新关于人工智能和大数据相关的内容,内容多为原创,Python Java Scala SQL 代码,CV NLP 推荐系统等,Spark Flin ...
[博学谷学习记录]超强总结，用心分享|Hive的压缩格式
压缩格式工具算法文件扩展名是否可切分 DEFAULT 无 DEFAULT .deflate 否 Gzip gzip DEFAULT .gz 否 bzip2 bzip2 bzip2 .bz2 是 ...
[博学谷学习记录]超强总结，用心分享|软件测试之计算机基础（一）
本周开始学习软件测试,而我也即将开始在平台记录我的学习之路.我会把我的个人心得及掌握的知识发布在此平台,俗话说最好的输入就是输出,希望在输出的同时能有更多的收获,也希望与大家多多交流. 为了更好的学习 ...
[博学谷学习记录]超强总结，用心分享|人工智能机械学习基础知识线性回归总结分享
1.线性回归的核心是参数学习,线性回归和回归方程(函数)有关 2.线性回归是目标值预期是输入变量的线性组合 3.欠拟合的产生原因是学习到数据的特征过少 4.多元线性回归中的"线性" ...
[博学谷学习记录] 超强总结，用心分享|JavaEE就业课-尊享无忧+Java基础语法|面向对象(1wk)
学习笔记目录目录学习笔记目录前言一.变量 1. 关键字:被java赋予特殊含义的字符 2. 常量:不会发生改变的量(数据)编辑 3. 变量:内存中的存储空间. 4. 类型转换 5. 算术运算 ...

最新文章

热门文章