Presto (二) --------- Presto 安装
目录
- 一、Presto Server 安装
- 二、Presto 命令行 Client 安装
- 三、Presto 可视化 Client 安装
一、Presto Server 安装
A、官网地址
https://prestodb.github.io/
B、下载地址
https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.196/presto-server-0.196.tar.gz
C、将 presto-server-0.196.tar.gz 导入 hadoop102 的 /opt/software 目录下,并解压到 /opt/module 目录
[fancy@hadoop102 software]$ tar -zxvf presto-server-0.196.tar.gz -C /opt/module/
D、修改名称为 presto
[bash@hadoop102 module]$ mv presto-server-0.196/ presto
E、进入到 /opt/module/presto 目录,并创建存储数据文件夹
[fancy@hadoop102 presto]$ mkdir data
F、进入到 /opt/module/presto 目录,并创建存储配置文件文件夹
[fancy@hadoop102 presto]$ mkdir etc
G、配置在 /opt/module/presto/etc 目录下添加 jvm.config 配置文件
[fancy@hadoop102 etc]$ vim jvm.config
添加如下内容
-server
-Xmx16G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError
H、Presto 可以支持多个数据源,在 Presto 里面叫 catalog,这里我们配置支持 Hive 的数据源,配置一个 Hive 的 catalog
[fancy@hadoop102 etc]$ mkdir catalog
[fancy@hadoop102 catalog]$ vim hive.properties
添加如下内容
connector.name=hive-hadoop2
hive.metastore.uri=thrift://hadoop102:9083
I、将 hadoop102 上的 presto 分发到 hadoop103、hadoop104
[fancy@hadoop102 module]$ xsync presto
J、分发之后,分别进入 hadoop102、hadoop103、hadoop104 三台主机的 /opt/module/presto/etc 的路径。配置 node 属性,node id 每个节点都不一样。
[fancy@hadoop102 etc]$vim node.properties
node.environment=production
node.id=ffffffff-ffff-ffff-ffff-ffffffffffff
node.data-dir=/opt/module/presto/data[fancy@hadoop103 etc]$vim node.properties
node.environment=production
node.id=ffffffff-ffff-ffff-ffff-fffffffffffe
node.data-dir=/opt/module/presto/data[fancy@hadoop104 etc]$vim node.properties
node.environment=production
node.id=ffffffff-ffff-ffff-ffff-fffffffffffd
node.data-dir=/opt/module/presto/data
K、Presto 是由一个 coordinator 节点和多个 worker 节点组成。在hadoop102 上配置成 coordinator,在 hadoop103、hadoop104 上配置为 worker。
hadoop102上配置coordinator节点
[fancy@hadoop102 etc]$ vim config.properties
添加内容如下
coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=8881
query.max-memory=50GB
discovery-server.enabled=true
discovery.uri=http://hadoop102:8881
hadoop103、hadoop104 上配置 worker 节点
[fancy@hadoop103 etc]$ vim config.properties
添加内容如下
coordinator=false
http-server.http.port=8881
query.max-memory=50GB
discovery.uri=http://hadoop102:8881
[fancy@hadoop104 etc]$ vim config.properties
添加内容如下
coordinator=false
http-server.http.port=8881
query.max-memory=50GB
discovery.uri=http://hadoop102:8881
L、在 hadoop102 的 /opt/module/hive 目录下,启动 Hive Metastore,用 fancy 角色
[fancy@hadoop102 hive]$
nohup bin/hive --service metastore >/dev/null 2>&1 &
M、分别在 hadoop102、hadoop103、hadoop104 上启动 Presto Server
前台启动 Presto,控制台显示日志
[fancy@hadoop102 presto]$ bin/launcher run
[fancy@hadoop103 presto]$ bin/launcher run
[fancy@hadoop104 presto]$ bin/launcher run
后台启动 Presto
[fancy@hadoop102 presto]$ bin/launcher start
[fancy@hadoop103 presto]$ bin/launcher start
[fancy@hadoop104 presto]$ bin/launcher start
N、日志查看路径 /opt/module/presto/data/var/log
二、Presto 命令行 Client 安装
A、下载 Presto 的客户端
https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.196/presto-cli-0.196-executable.jar
B、将 presto-cli-0.196-executable.jar 上传到 hadoop102的 /opt/module/presto 文件夹下
C、修改文件名称
[fancy@hadoop102 presto]$ mv presto-cli-0.196-executable.jar prestocli
D、增加执行权限
[fancy@hadoop102 presto]$ chmod +x prestocli
E、启动 prestocli
[fancy@hadoop102 presto]$ ./prestocli --server hadoop102:8881 --catalog hive --schema default
F、Presto 命令行操作
Presto 的命令行操作,相当于 Hive 命令行操作。每个表必须要加上schema。
例如:
select * from schema.table limit 100
三、Presto 可视化 Client 安装
A、将 yanagishima-18.0.zip 上传到 hadoop102 的 /opt/module 目录
B、解压缩 yanagishima
[fancy@hadoop102 module]$ unzip yanagishima-18.0.zip
cd yanagishima-18.0
C、进入到 /opt/module/yanagishima-18.0/conf 文件夹,编写yanagishima.properties 配置
[fancy@hadoop102 conf]$ vim yanagishima.properties
添加如下内容
jetty.port=7080
presto.datasources=fancy-presto
presto.coordinator.server.fancy-presto=http://hadoop102:8881
catalog.fancy-presto=hive
schema.fancy-presto=default
sql.query.engines=presto
D、在 /opt/module/yanagishima-18.0 路径下启动 yanagishima
[fancy@hadoop102 yanagishima-18.0]$
nohup bin/yanagishima-start.sh >y.log 2>&1 &
E、启动 web 页面
http://hadoop102:7080
看到界面,进行查询了。
F、查看表结构
这里有个 Tree View,可以查看所有表的结构,包括 Schema、表、字段等。
比如执行 select * from hive.dw_weather.tmp_news_click limit 10
,这个句子里 Hive 这个词可以删掉,是上面配置的Catalog。
每个表后面都有个复制键,点一下会复制完整的表名,然后再上面框里面输入 sql 语句,ctrl+enter 键执行显示结果。
Presto (二) --------- Presto 安装相关推荐
- presto集群安装
presto集群安装 整合hive 张映 发表于 2019-11-07 分类目录: hadoop/spark/scala 标签:hive, presto Presto是一个运行在多台服务器上的分布式系 ...
- 【电商数仓】数仓即席查询之Presto简介,安装,Presto优化之数据存储、查询SQL、一些注意事项
文章目录 一 Presto简介 1 Presto概念 2 Presto架构 3 Presto优缺点 4 Presto.Impala性能比较 二 Presto安装 1 Presto Server安装 2 ...
- 【presto】presto编译报错整理(大全)
问题一: 报错信息: 1) Explicit bindings are required and com.facebook.presto.execution.TaskManager is not ex ...
- Presto (一) --------- Presto 简介
目录 一.Presto 概念 二.Presto 架构 三.Presto 优缺点 四.Presto.Impala 性能比较 一.Presto 概念 Presto 是一个开源的分布式 SQL 查询引擎,数 ...
- vmware虚拟化(二)安装vsphere5.1
vmware虚拟化(二)安装vsphere5.1 安装前的准备(环境) 一台域控制器 一台sql2008数据库 二.安装vCenter服务 在数据库里创建一个数据库,名字就叫vCenter 1.添加数 ...
- IBM WebSphere MQ 系列(二)安装MQ
2019独角兽企业重金招聘Python工程师标准>>> 一.安装WebSphere MQ之前Linux系统的配置 1.创建MQ安装目录 shell命令: mkdir /opt/mqm ...
- 【vSphere系列二】安装 Openfiler 存储
参考 http://tech.ddvip.com/2013-03/1362159819191307.html 一. Openfiler简介 Openfiler 能把标准x86/64架构的系统变成一个强 ...
- 云服务器(uCloud)部署java web项目(二) 安装,配置apache服务器
自己组建了一个网站,想要发布到互联网上.然后我就找到了这个链接 https://www.codecasts.com/series/deploy-a-website-from-scratch(是一个从零 ...
- SharePoint2007安装图文详解二:安装AD(活动目录)及DNS
在上一篇SharePoint2007安装图文详解一:安装IIS及相关组件中已经介绍了IIS及相关组件的安装,本篇将详细介绍AD(活动目录)的安装. 打开"管理您的服务器",点击&q ...
最新文章
- 今天有点时间,想写一个小说,说说面向对象的故事,主人是人类!(一)
- 每日一则 LeetCode: Add Two Numbers
- 关于安装VS2010过程中的错误
- Win10 基于excel 文件的python下载脚本
- Deeplearning:windows多版本cuda安装、管理
- Illegal access: this web application instance has been stopped already
- 从硬盘上把数据传回到计算机称为什么,计算机基础知识 第一章 习题三
- 2016年:勒索病毒造成损失预估超过10亿美元
- php cbd架构,CBD模式
- ZooKeeper集群与Leader选举
- php 截取音频文件后缀名,使用PHP从音频流中提取音轨信息
- iptables NAT
- 洛谷P1807 最长路_NOI导刊2010提高(07) 求有向无环图的 最长路 图论
- Hybrid Skeleton Driven Surface Registration for Temporally Consistent Volumetric Video
- IDEA 导入p3c-formatter 格式化代码
- Creator技能按钮冷却效果
- java backoff_Java BackOff类代码示例
- Postman在pre-request Script中执行登录获取token
- TokenGazer:DeFi领域发展良好,量化模型显示MKR处于市值偏低区间
- Java--Integer
热门文章
- 计算机函数公式发生额总计,如何用Excel Sumif函数做查询模板统计客户在不同时间借款的总金额...
- 【OpenCV】imshow()和namedWindow()之间的关系,解决两个窗口问题
- 影响PCBA制造的成本有很多方面,怎么有效降低成本?
- 二手书交易平台相关调研
- ifconfig 下面的一些字段(errors, dropped, overruns)
- linux php验证码,openwrt路由器搭建PHP并用PHP识别验证码
- ABP (.Net Core) 使用MySQL数据库
- web前端与后台数据交互
- python神经网络算法pdf_高清图解:神经网络、机器学习、数据科学一网打尽|附PDF...
- NVM Node版本管理工具