Spark入门（七）Spark SQL thriftserver/beeline启动方式

2024-06-09 18:05:12

一、启动thrift服务

启动thriftServer，默认端口为10000,。

--jars 添加worker类库

--driver-class-path 驱动类库

--master spark集群地址

--total-executor-cores 启动的核数，默认是所有核数

--executor-memory 每个work分配的内存，默认是work的所有内存

--hiveconf hive.server2.thrift.port 启动端口

spark-2.4.4/sbin/start-thriftserver.sh --master spark://hadoop01:7077,hadoop02:7077,hadoop03:7077  --driver-class-path /home/mk/mysql-connector-java-5.1.26-bin.jar  --jars /home/mk/mysql-connector-java-5.1.26-bin.jar  --total-executor-cores 2  --executor-memory 1gnetstat -nap | grep  10000

二、启动beeline

spark-2.4.4/bin/beeline#连接
!connect jdbc:hive2://hadoop01:10000show tables;select * from test;#退出
!quit

三、总结

thriftserver/beeline和普通的spark-shell/spark-sql区别

（1）对于derby存储元数据
1、spark-shell、spark-sql是启动一个spark application，只能服务于唯一的客户端，同一路径启动多客户端会报错；
2、thriftservers是启动一个spark application提供接口服务，为多客户端进行服务。解决了数据共享的问题，多个客户端可以共享数据问题；

（2）对于其他非本地的数据库存储元数据

1、spark-shell、spark-sql是启动一个spark application，服务于一个的客户端。可以启动多个spark-shell、spark-sql，客户端之间的操作互相不干扰。
2、thriftservers是启动一个spark application提供接口服务，为多客户端进行服务。如有客户端的操作过多，会干扰到其他客户端的进一步操作。

Spark入门（七）Spark SQL thriftserver/beeline启动方式相关推荐

Spark入门(五)——Spark Streaming
Spark Streaming(流处理) Spark Streaming(流处理) 什么是流处理? 快速入门概念介绍初始化 StreamingContext Discretized Streams ...
Spark入门-了解Spark核心概念
在本文中我们将从Spark集群角度和程序应用的角度来对相关概念进行了解一. 站在集群角度 1.1 Master Spark 特有资源调度系统的 Leader.掌管着整个集群的资源信息,类似于 Yar ...
Spark入门实战系列--4.Spark运行架构
注]该系列文章以及使用到安装包/测试数据可以在<倾情大奉送--Spark入门实战系列>获取 1. Spark运行架构 1.1 术语定义 lApplication:Spark Applic ...
Spark 入门简介
1. 简介 Spark 的身世 Spark 是一个通用的并行计算框架,由加州伯克利大学(UC Berkeley)的 AMP 实验室开发于 2009 年,并于 2010 年开源,2013 年成长为 Ap ...
Spark系列之Spark在不同集群中的架构
title: Spark系列第十二章 Spark在不同集群中的架构 Spark 注重建立良好的生态系统,它不仅支持多种外部文件存储系统,提供了多种多样的集群运行模式.部署在单台机器上时,既可以用 ...
Spark入门（五）Spark SQL shell启动方式(元数据存储在derby)
一.spark-sql shell介绍 Spark sql是以hive SQL提交spark任务到spark集群执行. 由于spark是计算框架没有存储功能,所有spark sql数据表映射关系存储在 ...
spark基础之Spark SQL和Hive的集成以及ThriftServer配置
如果希望Maven编译Spark时支持Hive,需要给定-Phive -Phive-thriftserver.比如比如:mvn -Pyarn -Phadoop-2.6 -Dhadoop.version ...
spark代码连接hive_Spark SQL入门到实战之（7）spark连接hive（spark-shell和eclipse两种方式）...
1.在服务器(虚拟机)spark-shell连接hive 1.1 将hive-site.xml拷贝到spark/conf里 cp /opt/apache-hive-2.3.2-bin/conf/hiv ...
Spark入门实战系列--6.SparkSQL（上）--SparkSQL简介
[注]该系列文章以及使用到安装包/测试数据可以在<倾情大奉送--Spark入门实战系列>获取 1.SparkSQL的发展历程 1.1 Hive and Shark SparkSQL的前身 ...

最新文章

热门文章