spark-sql-hive

spark-sql --database src --hiveconf hive.metastore.uris=thrift://hdp02:2083 -e "select * from src_db2" --driver-java-options '-Djava.net.preferIPv4Stack=true'

spark-sql-jdbc

1.启动spark-sql

## --driver-class-path：指定Driver端所需jar
## --jars ：指定executor所需要jar
spark-sql --driver-class-path /home/dw/hubg/mysql-connector-java-5.1.45-bin.jar \
--jars /home/dw/hubg/mysql-connector-java-5.1.45-bin.jar

2.执行Spark SQL语句：

spark-sql> CREATE TEMPORARY VIEW spark_mysql USING org.apache.spark.sql.jdbc OPTIONS (  url "jdbc:mysql://xxx.xx.xx.x:xxxx/shurongtest", dbtable "dmpt_serv_object",user 'root',password 'root');
Time taken: 1.504 seconds
22/08/01 15:21:48 INFO SparkSQLCLIDriver: Time taken: 1.504 seconds

spark-sql> select * from spark_mysql;
1541964275789103105     第一条  4bb8df021931375dc80f056f433ba2b6        2022-06-30 12:59:59     第一条  2022-06-29 22:58:26     admin   2022-06-30 22:41:32     admin
1542701764438929409     第二条2 57119498e7649c33e2c5e4f56f2a50dc        2022-07-02 12:59:59     第二条  2022-07-01 23:48:57     yanshi_0627     2022-07-19 04:00:44     admin
1543104243022495745     服务对象1服务对象1服务对象1服务对象1服务对象1服务对象1服务对象1服务对象1服务对象1服务对象1服务对象1服务对象1    9d48f9824f9cb02190f331267966150c       2022-07-03 12:59:59      服务对象1服务对象1服务对象1服务对象1服务对象1服务对象1服务对象1服务对象1服务对象1服务对象1服务对象1服务对象1    2022-07-03 02:28:16     yhx     2022-07-03 02:28:16     yhx
1544282208364134401     11111111        c334ad6011cf3100a5e61f2832a4ae56        2022-07-06 12:59:59             2022-07-06 08:29:05     admin   2022-07-06 08:29:05     admin
1546804008885166082     111     a2184be4c6f233380e54ce128dd73bbe        2022-07-13 12:59:59     111     2022-07-13 07:29:49     admin   2022-07-13 07:29:49     admin
Time taken: 12.592 seconds, Fetched 5 row(s)
22/08/01 15:22:04 INFO SparkSQLCLIDriver: Time taken: 12.592 seconds, Fetched 5 row(s)

spark-sql 指定metastore地址、读取mysql相关推荐

Spark SQL连接数据库找不到Mysql驱动解决方法
这里说明一点:本文提到的解决Spark insertIntoJDBC找不到Mysql驱动的方法是针对单机模式(也就是local模式).在集群环境下,下面的方法是不行的.这是因为在分布式环境下,加载my ...
Spark SQL玩起来
标签(空格分隔): Spark [toc] 前言 Spark SQL的介绍只包含官方文档的Getting Started.DataSource.Performance Tuning和Distribut ...
Spark入门（六）Spark SQL shell启动方式(元数据存储在mysql)
一.hive配置文件在spak/conf目录添加hive-site.xml配置,设置mysql作为元数据存储的数据库 <?xml version="1.0" encodin ...
spark SQL快速入门 1-9 慕课网
1.hadoop安装 1.修改hadoop配置文件hadoop-env.shexport JAVA_HOME=/home/hadoop/app/jdk1.8.0_91core-site.xml< ...
大数据之Spark（四）：Spark SQL
一.SparkSQL的发展 1.1 概述 SparkSQL是Spark⽣态体系中的构建在SparkCore基础之上的⼀个基于SQL的计算模块. SparkSQL的前身不叫SparkSQL,⽽叫Shar ...
Cris 的 Spark SQL 笔记
一.Spark SQL 概述 1.1 什么是Spark SQL Spark SQL 是 Spark 用来处理结构化数据的一个模块,它提供了2个编程抽象: DataFrame 和DataSet,并且作为 ...
Spark SQL 编程API入门系列之SparkSQL数据源
不多说,直接上干货! SparkSQL数据源:从各种数据源创建DataFrame 因为 spark sql,dataframe,datasets 都是共用 spark sql 这个库的,三者共享同样的 ...
大数据入门之分布式计算框架Spark(2) -- Spark SQL
1.Spark SQL概述一个运行在Spark上执行sql的处理框架,可以用来处理结构化的数据[外部数据源(访问hive.json.parquet等文件的数据)]. Spark SQL提供了SQL的 ...
spark sql 本地调试_干货 | 如何成为大数据Spark高手
Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台,它立足于内存计算,性能超过Hadoop百倍,从多迭代批量处理出发,兼收并蓄数据仓库.流处理和图计算等多种计算范式,是罕见的全能选手. ...

spark-sql 指定metastore地址、读取mysql

spark-sql-hive

spark-sql-jdbc

spark-sql 指定metastore地址、读取mysql相关推荐

最新文章

热门文章