Spark入门（六）Spark SQL shell启动方式(元数据存储在mysql)

一、hive配置文件

在spak/conf目录添加hive-site.xml配置，设置mysql作为元数据存储的数据库

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://192.168.150.1:3306/spark_metadata_db?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8</value><description>JDBC connect string for a JDBC metastore</description></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value><description>Driver class name for a JDBC metastore</description></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value><description>Username to use against metastore database</description></property><property><name>javax.jdo.option.ConnectionPassword</name><value>admin</value><description>password to use against metastore database</description></property><!-- hive查询时输出列名 --><property><name>hive.cli.print.header</name><value>true</value></property><!-- 显示当前数据库名 --><property><name>hive.cli.print.current.db</name><value>true</value></property>
</configuration>

二、启动spark-sql shell

--driver-class-path 是spark元数据存储的驱动类路径，这里使用mysql作为metastore，故使用mysql-connector-java-5.1.26-bin.jar

--jars 是executer执行器的额外添加类的路径，这里使用mysql的test表进行操作，故使用mysql-connector-java-5.1.26-bin.jar

--total-executor-cores 启动的核数，默认是所有核数

--executor-memory 每个work分配的内存，默认是work的所有内存

cd ~/software/spark-2.4.4-bin-hadoop2.6
bin/spark-sql --master spark://hadoop01:7077,hadoop02:7077,hadoop03:7077 --driver-class-path /home/mk/mysql-connector-java-5.1.26-bin.jar  --jars /home/mk/mysql-connector-java-5.1.26-bin.jar  --total-executor-cores 2  --executor-memory 1g

启动shell前：

启动shell后：

mysql数据库里面创建了spark_metadata_db

三、执行sql

show tables;create table test(id int, name string)  USING org.apache.spark.sql.jdbc options(url 'jdbc:mysql://192.168.150.1:3306/spark-mysql?user=root&password=admin', dbtable 'test_a');show tables;select * from test;insert into test values(4, 'd'), (5, 'e'), (6, 'f');select * from test;

Spark入门（六）Spark SQL shell启动方式(元数据存储在mysql)相关推荐

Spark入门（五）Spark SQL shell启动方式(元数据存储在derby)
一.spark-sql shell介绍 Spark sql是以hive SQL提交spark任务到spark集群执行. 由于spark是计算框架没有存储功能,所有spark sql数据表映射关系存储在 ...
STM32 快速入门（内核架构，启动方式，开发参考资料，芯片选型）
文章目录 1.启动方式(Start up) 2.开发参考资料 2.1 STM32 中文参考手册 3.通常的芯片选型步骤 4.存储器和总线构架 4.1 系统构架 4.1.1 ICode 总线 4.1.2 ...
Spark入门(五)——Spark Streaming
Spark Streaming(流处理) Spark Streaming(流处理) 什么是流处理? 快速入门概念介绍初始化 StreamingContext Discretized Streams ...
Spark入门-了解Spark核心概念
在本文中我们将从Spark集群角度和程序应用的角度来对相关概念进行了解一. 站在集群角度 1.1 Master Spark 特有资源调度系统的 Leader.掌管着整个集群的资源信息,类似于 Yar ...
sql server存储过程修改，存储到mysql笔记
由于有些项目要迁移到mysql上,数据迁移用MySQLWorkbench就能很好的迁移,最难的是存储过程之类的. 下面是sql server存储过程和mysql存储过程的转化: SQL SERVER: ...
Spark 入门简介
1. 简介 Spark 的身世 Spark 是一个通用的并行计算框架,由加州伯克利大学(UC Berkeley)的 AMP 实验室开发于 2009 年,并于 2010 年开源,2013 年成长为 Ap ...
Windows 启动方式总结(转)
一.自启动项目: 开始---程序---启动,里面添加一些应用程序或者快捷方式. 这是Windows 里面最常见,以及应用最简单的启动方式,如果想一些文件开机时候启动,那么也可以将他拖入里面或者建立快捷 ...
WIN8 与WIN7的64位及32位分别对Legacy BIOS+MBR和UEFI+GPT两种启动方式和分区架构下的安装可行性分析
微软系统.相关产品官方镜像下载:http://msdn.itellyou.cn/ 关于MBR.GPT.ESP.MSR.EFI.UEFI和WIN8中SECURE BOOT的基础知识: 1.MBR分 ...
Tomcat介绍及三种启动方式的区别
一.Tomcat的下载二.Tomcat目录说明三.Tomcat常用命令四.Tomcat服务的安装五.Tomcat启动的三种方式六.三种启动方式的区别七.Tomcat端口占用问题一.Tom ...

Spark入门（六）Spark SQL shell启动方式(元数据存储在mysql)

一、hive配置文件

二、启动spark-sql shell

三、执行sql

Spark入门（六）Spark SQL shell启动方式(元数据存储在mysql)相关推荐

最新文章

热门文章