sparkSQL操作hiveSQL

   <dependency><groupId>org.apache.spark</groupId><artifactId>spark-hive_2.11</artifactId><version>2.3.3</version></dependency>

import org.apache.spark.sql.SparkSession//todo:利用sparksql操作hivesql
object HiveSupport {def main(args: Array[String]): Unit = {//1、构建SparkSession对象val spark: SparkSession = SparkSession.builder().appName("HiveSupport").master("local[2]").enableHiveSupport() //开启对hive的支持.getOrCreate()//2、直接使用sparkSession去操作hivesql语句//2.1 创建一张hive表spark.sql("create table people(id string,name string,age int) row format delimited fields terminated by ','")//2.2 加载数据到hive表中spark.sql("load data local inpath './data/kaikeba.txt' into table people ")//2.3 查询spark.sql("select * from people").show()spark.stop()}
}

sparkSQL操作hiveSQL相关推荐

SparkSQL操作Hive
title: SparkSQL操作Hive date: 2020-05-12 16:12:55 tags: Spark Apache Hive 是 Hadoop 上的 SQL 引擎,Spark SQL ...
idea sparksql操作hive遇到的坑CoarseGrainedSchedulerBackend$DriverEndpoint: Asked to remove non-existent ex
sparksql操作hive遇到的坑第一次写sparksql项目想用sparksql操作hive查询数据就找到了百度代码做参考[idea工具开发] 代码如下: import org.apache.s ...
python读取oracle数据到hvie parquet_关于sparksql操作hive，读取本地csv文件并以parquet的形式装入hive中...
说明:spark版本:2.2.0 hive版本:1.2.1 需求: 有本地csv格式的一个文件,格式为${当天日期}visit.txt,例如20180707visit.txt,现在需要将其通过spar ...
sparksql 操作hive_Spark SQL 物化视图原理与实践
导言物化视图作为一种预计算的优化方式,广泛应用于传统数据库中,如Oracle,MSSQL Server等.随着大数据技术的普及,各类数仓及查询引擎在业务中扮演着越来越重要的数据分析角色,而物化视图作 ...
sparksql 操作hive_三十六、图解SparkSQL运行原理
SparkSQL运行原理 1.SparkSQL的运行简化流程进行DataFrame|Dataset|SQL编程; Spark会将编写的代码转换并生成一个逻辑计划; Spark会将此逻辑计算转换生成一 ...
SparkSQL操作Hive Table
Spark SQL支持对Hive的读写操作.然而因为Hive有很多依赖包,所以这些依赖包没有包含在默认的Spark包里面.如果Hive依赖的包能在classpath找到,Spark将会自动加载它们.需 ...
Spark之使用SparkSql操作mysql和DataFrame的Scala实现
通过读取文件转换成DataFrame数据写入到mysql中 package com.zy.sparksqlimport java.util.Propertiesimport org.apache.sp ...
SparkHiveSQL中Join操作的谓词下推？
前言: SparkSQL和HiveSQL的Join操作中也有谓词下推?今天就通过大神的文章来了解下.同样,如有冒犯,请联系. 正文上文简要介绍了Join在大数据领域中的使用背景以及常用的几种算法-b ...
SparkSQL核心编程
目录基本介绍 DataFrame 创建 DataFrame DataSet 创建 DataSet RDD 转换为 DataSet DataSet 转换为 RDD DataFrame 和 DataSe ...

sparkSQL操作hiveSQL

sparkSQL操作hiveSQL

sparkSQL操作hiveSQL相关推荐

最新文章

热门文章