sparksql整合hive

步骤
- 1、需要把hive安装目录下的配置文件hive-site.xml拷贝到每一个spark安装目录下对应的conf文件夹中
- 2、需要一个连接mysql驱动的jar包拷贝到spark安装目录下对应的jars文件夹中
- 3、可以使用spark-sql脚本后期执行sql相关的任务
启动脚本

spark-sql \
--master spark://node1:7077 \
--executor-memory 1g \
--total-executor-cores 4 \
--conf spark.sql.warehouse.dir=hdfs://node1:9000/user/hive/warehouse

应用场景

#!/bin/sh
#定义sparksql提交脚本的头信息
SUBMITINFO="spark-sql --master spark://node1:7077 --executor-memory 1g --total-executor-cores 4 --conf spark.sql.warehouse.dir=hdfs://node1:9000/user/hive/warehouse"
#定义一个sql语句
SQL="select * from employee;"
#执行sql语句   类似于 hive -e sql语句
echo "$SUBMITINFO"
echo "$SQL"
$SUBMITINFO -e "$SQL"

sparksql整合hive相关推荐

Spark-Sql整合hive，在spark-sql命令和spark-shell命令下执行sql命令和整合调用hive
1.安装hive 如果想创建一个数据库用户,并且为数据库赋值权限,可以参考:http://blog.csdn.net/tototuzuoquan/article/details/52785504 2. ...
sparksql hive mysql_SparkSql 整合 Hive
SparkSql整合Hive 需要Hive的元数据,hive的元数据存储在Mysql里,sparkSql替换了yarn,不需要启动yarn,需要启动hdfs 首先你得有hive,然后你得有spark, ...
Spark SQL 快速入门系列（五）SparkSQL 访问 Hive
文章目录访问 Hive SparkSQL 整合 Hive 访问 Hive 表 idea实现SparkSQL连接hive 访问 Hive 导读 1,整合 SparkSQL 和 Hive, 使用 Hiv ...
2021年大数据Flink（三十八）：Table与SQL 案例五 FlinkSQL整合Hive
目录案例五 FlinkSQL整合Hive 介绍集成Hive的基本方式准备工作 1.添加hadoop_classpath 2.下载jar并上传至flink/lib目录 3.修改hive配置 4.启 ...
python读取oracle数据到hvie parquet_关于sparksql操作hive，读取本地csv文件并以parquet的形式装入hive中...
说明:spark版本:2.2.0 hive版本:1.2.1 需求: 有本地csv格式的一个文件,格式为${当天日期}visit.txt,例如20180707visit.txt,现在需要将其通过spar ...
spark整合hive
目录 spark-shell整合安装hive 配置信息启动spark 测试 idea中spark整合 windows下搭建hadoop 配置环境变量添加文件 idea连接虚拟机连接文件连接虚 ...
SparkSql On Hive
序言 sql 在 hive的使用具体还分为了2种解决方案:hive on spark 和 sparksql,这里主要使用的是sparksql.因为两者都是使用spark替换mapreduce作为计算引 ...
Flink教程（25）- Flink高级特性（FlinkSQL整合Hive）
文章目录 01 引言 02 FlinkSQL 整合Hive 2.1 介绍 2.2 集成Hive的基本方式 2.3 准备工作 2.4 SQL CLI 2.5 代码演示 03 文末 01 引言在前面的博 ...
SparkSQL操作Hive
title: SparkSQL操作Hive date: 2020-05-12 16:12:55 tags: Spark Apache Hive 是 Hadoop 上的 SQL 引擎,Spark SQL ...

sparksql整合hive

sparksql整合hive

sparksql整合hive相关推荐

最新文章

热门文章