启动thriftserver

使用命令启动：./start-thriftserver.sh --master local[2] --jars /home/iie4bu/software/mysql-connector-java-5.1.35.jar。
然后使用jps -m查看，可以看到SparkSubmit

同样可以通过浏览器进行访问。实际上beeline访问端口则需要访问10000

启动客户端beeline

使用命令：bin/beeline -u jdbc:hive2://manager:10000 -n iie4bu

上面的图展示了正确连接的情况。
使用命令查看表：show tables;

查询语句：select * from sal s join people p on s.transactionid=p.id;

可以在浏览器中查看到作业：

可以查看详细的执行计划。
当我们在启动一个beeline时，会出现两个session：

修改thriftserver启动时的默认端口

首先将上面的beeline和thriftserver停止。
然后启动thriftserver时，指定端口号：14000。
./start-thriftserver.sh --master local[2] --jars /home/iie4bu/software/mysql-connector-java-5.1.35.jar --hiveconf hive.server2.thrift.port=14000

然后启动beeline客户端：
beeline -u jdbc:hive2://manager:14000 -n iie4bu，启动成功：

thriftserver与spark-shell/spark-sql区别

spark-shell和spark-sql启动时每次都需要重新申请资源，都是一个新的spark application。
thriftserver不管启动多少个客户端（beeline/jdbc方式），永远都是一个spark application。好处一：是只要在启动时申请一次就可以了，不需要在申请资源了。好处二：当一个客户端修改一个表之后，另一个客户端可以看到，解决了数据共享的问题，多个客户端可以共享数据。

SparkSQL之thriftserver/beeline的使用相关推荐

Spark入门（七）Spark SQL thriftserver/beeline启动方式
一.启动thrift服务启动thriftServer,默认端口为10000,. --jars 添加worker类库 --driver-class-path 驱动类库 --master spark集群 ...
2021年大数据Spark（三十三）：SparkSQL分布式SQL引擎
目录分布式SQL引擎 Hive的SQL交互方式 ThriftServer JDBC/ODBC Server 开启sparksql的thriftserver 使用beeline 客户端连接 JDBC/ ...
SparkSQL操作Hive
title: SparkSQL操作Hive date: 2020-05-12 16:12:55 tags: Spark Apache Hive 是 Hadoop 上的 SQL 引擎,Spark SQL ...
慕课网Spark SQL日志分析 - 4.从Hive平滑过渡到Spark SQL
4.1 SQLContext/HiveContext/SparkSesson 1.SQLContext 老版本文档:spark.apache.org/docs/1.6.1/ SQLContext示例文 ...
巨杉数据库linux,【巨杉数据库SequoiaDB】巨杉Tech |巨杉数据库的HTAP场景实践
01 背景由于业务形式的发展,越来越多的需求需要对交易数据进行实时分析,例如推荐.决策.监控等,传统的处理办法是使用ETL的方式把OLTP业务产生的数据同步到OLAP的数据数据库,导致了数据需要在不 ...
【巨杉数据库SequoiaDB】巨杉Tech |巨杉数据库的HTAP场景实践
01 背景由于业务形式的发展,越来越多的需求需要对交易数据进行实时分析,例如推荐.决策.监控等,传统的处理办法是使用ETL的方式把OLTP业务产生的数据同步到OLAP的数据数据库,导致了数据需要在不 ...
Spark3 读写 S3 Parquet, Hive, Hudi
Spark 读 S3 Parquet 写入 Hudi 表目录 Spark 读 S3 Parquet 写入 Hudi 表参考关于S3,S3N和S3A的区别与联系 Spark 读写 S3 Parqu ...
大数据项目（二）————某电信公司通话记录改造
1.项目介绍某互联网公司面向APP应用开发者提供的,以品牌互推.流量互导.广告分账为主的一站式服务平台. 将通话记录数据由原来的oracle系统改造成使用大数据架构解决方案.主要使用hbase做通话 ...
日志分析进入大数据Spark SQL的世界
以慕课网日志分析为例进入大数据 Spark SQL 的世界这篇blog是这个项目的总结,因为从别的地方学习过Hadoop.Spark的一些基础知识了,所以这部分略过.针对自身的不足,我抛出一些问题 ...

SparkSQL之thriftserver/beeline的使用

启动thriftserver

启动客户端beeline

修改thriftserver启动时的默认端口

thriftserver与spark-shell/spark-sql区别

SparkSQL之thriftserver/beeline的使用相关推荐

最新文章

热门文章