spark代码连接hive_spark连接Hive

作者是通过metastore方式实现spark连接hive数据库，所以首先启动metastore:

hive --service metastore

另外需要将core-site.xml、hdfs-site.xml、hive-site.xml三个文件复制到的spark/conf文件夹下。

image.png

hive-site.cml中要包含metastore的地址：

image.png

spark代码:

# -*- coding: utf-8 -*-

from pyspark.sql import SparkSession

spark = SparkSession\

.builder\

.appName('spark read hive')\

.master('local')\

.enableHiveSupport()\

.getOrCreate()

hive_data = spark.sql("show databases")

hive_data.show()

# 读数据库

read_data = spark.sql("select * from database.table limit 10")

read_data.show()

# 写数据库 append:追加模式；overwrite:清空表重写

read_data.write.format("hive").mode("append").saveAsTable('database.table2')

本篇spark连接的是本机hive，若是远程连接参考spark远程读写hive数据库

spark代码连接hive_spark连接Hive相关推荐

spark代码连接hive_Spark SQL入门到实战之（7）spark连接hive（spark-shell和eclipse两种方式）...
1.在服务器(虚拟机)spark-shell连接hive 1.1 将hive-site.xml拷贝到spark/conf里 cp /opt/apache-hive-2.3.2-bin/conf/hiv ...
spark代码连接hive_spark SQL学习（spark连接hive）
spark 读取hive中的数据 scala> import org.apache.spark.sql.hive.HiveContext import org.apache.spark.sql. ...
mapreduce复制连接的代码_我的 Hive 为什么跑不起来/跑得慢？看看是不是少了这几行代码？...
<饮食男女>开头说:"人生不能像做菜,把所有的料都准备好了才下锅." 但做大数据挖掘不一样,MapReduce 不同于人生,一定要把准备工作做好了,才能顺利运行后面的步 ...
Hive:用Java代码通过JDBC连接Hiveserver
写在前面的话,学Hive这么久了,发现目前国内还没有一本完整的介绍Hive的书籍,而且互联网上面的资料很乱,于是我决定写一些关于<Hive的那些事>序列文章,分享给大家.我会在接下来的时间 ...
Java代码通过JDBC连接Hiveserver2
Java代码通过JDBC连接Hiveserver2 转载 2016年04月26日 16:33:35 344 用Java代码通过JDBC连接Hiveserver2 我们可以通过CLI.Client.We ...
Hive mysql 内连接_Hive-表连接 | 学步园
Hive只支持等值连接,即ON子句中使用等号连接,不支持非等值连接. Hive内置的数据存储类型,TextFile, SequenceFile, ORC(列式存储) 如果连接语句中有WHERE子句,会 ...
Java代码通过Kerberos连接HDFS
准备配置文件工作: 1. hdfs-site.xml , core-site.xml 从[集群中下载] 2. hadoop.keytab [创建kerberos访问的用户生成] 3. krb5.con ...
hive 内连接左外连接右外连接满外连接左半开连接交叉连接多表连接隐式连接
目录 hive outline hive 内连接 inner join hive 左外连接 left join hive 右外连接 right join hive 满外连接 full join hiv ...
HIVE 中内连接外连接左外连接右外连接全外连接联合操作
hive的join操作,只支持等值连接创建customers和orders表,一对多关系创建customers表 create table customers(id int,name string ...

spark代码连接hive_spark连接Hive

spark代码连接hive_spark连接Hive相关推荐

最新文章

热门文章