首先启动spark-shell:
命令：spark-shell --master local[2] --jars ~/software/mysql-connector-java-5.1.35.jar --driver-class-path /home/iie4bu/software/mysql-connector-java-5.1.35.jar
查看当前有哪些表：
spark.sql("show tables").show，结果如下：

查询sal表：

按照customerid进行统计，然后获取出不是空的customerid：
scala> spark.sql("select customerid,count(1) from sal group by customerid").filter("customerid is not null").show

将查询结果再保存到Hive中

命令：scala> spark.sql("select customerid,count(1) from sal group by customerid").filter("customerid is not null").write.saveAsTable("hive_table_1")，报错信息：

需要修改成：scala> spark.sql("select customerid,count(1) as mount from sal group by customerid").filter("customerid is not null").write.saveAsTable("hive_table_1")
这样查询表就可以看到刚创建的表了：

浏览器中查看

我们在浏览器中查看刚才的作业：ip:4040

200表示配置分区的数量。
这个值可以手动进行配置：
sparksession.sqlContext.setConf("spark.sql.shuffle.partitions", "10")

然后执行上面的保存成表的操作：
scala> spark.sql("select customerid,count(1) as mount from sal group by customerid").filter("customerid is not null").write.saveAsTable("hive_table_2")
这时再查看看浏览器，发现分区是10了

因此在生产环境中，注意设置这个值，默认是200

SparkSQL之操作Hive相关推荐

SparkSQL操作Hive
title: SparkSQL操作Hive date: 2020-05-12 16:12:55 tags: Spark Apache Hive 是 Hadoop 上的 SQL 引擎,Spark SQL ...
python读取oracle数据到hvie parquet_关于sparksql操作hive，读取本地csv文件并以parquet的形式装入hive中...
说明:spark版本:2.2.0 hive版本:1.2.1 需求: 有本地csv格式的一个文件,格式为${当天日期}visit.txt,例如20180707visit.txt,现在需要将其通过spar ...
idea sparksql操作hive遇到的坑CoarseGrainedSchedulerBackend$DriverEndpoint: Asked to remove non-existent ex
sparksql操作hive遇到的坑第一次写sparksql项目想用sparksql操作hive查询数据就找到了百度代码做参考[idea工具开发] 代码如下: import org.apache.s ...
SparkSQL Spark on Hive Hive on Spark
刚开始接触Spark被Hive在Spark中的作用搞得云里雾里,这里简要介绍下,备忘. 参考:https://blog.csdn.net/zuochang_liu/article/details/82 ...
Spark采坑系列（三）Spark操作Hive的坑
2019独角兽企业重金招聘Python工程师标准>>> 跟着教学试着用Idea编程,实现Spark查询Hive中的表.结果上来就凉了. 捣鼓好久都不行,在网上查有说将hive-sit ...
spark2.2读写操作hive和mysql数据库
2019独角兽企业重金招聘Python工程师标准>>> sparksession操作hive数据库 1.需要将core-site.xml,hdfs-site.xml,hive-sit ...
python数据导入hive_Python操作HIve，将数据插入到Mysql
Python操作HIve,将数据插入到Mysql import sys from hive_service import ThriftHive from hive_service.ttypes imp ...
Hive的安装和使用以及Java操作hive
Hive 引言简介 hive是facebook开源,并捐献给了apache组织,作为apache组织的顶级项目(hive.apache.org). hive是一个基于大数据技术的数据仓库(DataW ...
Spark操作Hive分区表
前言 Spark操作Hive表可谓是异常的方便和简单,这里根据官网简单的总结一下Spark操作Hive分区表完美的处理处理方式 // 开启Hive动态分区 spark.sqlContext.setC ...

SparkSQL之操作Hive

将查询结果再保存到Hive中

浏览器中查看

SparkSQL之操作Hive相关推荐

最新文章

热门文章