Spark系列文章目录

第一章初识Spark
第二章 Spark-Core核心模型（一）
第二章 Spark-Core核心模型（二）
第三章 Spark-Core编程进阶（一）
第三章 Spark-Core编程进阶（二）
第四章 Spark-SQL基础（一）
第四章 Spark-SQL基础（二）
第五章 Spark-SQL进阶（一）
第五章 Spark-SQL进阶（二）
第五章 Spark-SQL进阶（三）

文章目录

Spark系列文章目录
第五章 Spark-SQL进阶（一）
- 1.核心语法
- - 1.1DataFrame
  - 1.2数据类型
  - 1.3注册视图
  - 1.4Dataset
  - 1.5Dataset API方法

第五章 Spark-SQL进阶（一）

1.核心语法

1.1DataFrame

第一种方式
- 通过读取外部数据集
- spark.read.数据源方法()
- DataFrameReader对象中有Spark内置支持数据源读取数据的方法
  - eg：parquet csv text json jdbc table orc等
第二种方式
- 通过createDataFrame方法传递RDD或Seq参数
- createDataFrame[A <: Product : TypeTag](rdd: RDD[A])
- createDataFrame(rowRDD: RDD[Row], schema: StructType)
- createDataFrame[A <: Product : TypeTag](data: Seq[A])
第三种方式
- 通过RDD或Seq对象隐式转化方法
- rdd.toDF([colNames*])
- seq.toDF([colNames*])

1.2数据类型

SparkSQL和DataFrames支持以下数据类型

数值类型
- ByteType
- ShortType
- IntegerType
- LongType
- FloatType
- DoubleType
- DecimalType
字符串类型
- StringType
二进制类型
- BinaryType
布尔类型
- BooleanType
日期时间类型
- TimestampType DateType
复杂类型
- ArrayType (elementType, containsNull)
- MapType (keyType, valueType, valueContainsNull)
- StructType (fields)
- StructField(name, dataType, nullable)

注意，以上类型都来自 import org.apache.spark.sql.types._。

1.3注册视图

视图分为：

临时视图
- 范围是会话级别
- 注册临时视图：createTempView(viewName: String)
- 注册或替换临时视图：createOrReplaceTempView(viewName: String)（推荐）
全局临时视图
- 范围是所有会话
- 所有会话之间共享一个全局临时视图
- 与系统数据库global_temp相关联
  - 使用全局临时视图时必须使用限定名称来引用
- 注册全局临时视图：createGlobalTempView(viewName: String)
- 注册或替换全局临时视图：createOrReplaceGlobalTempView(viewName: String)（推荐）

使用案例：

//1.注册为全局临时视图
df.createGlobalTempView("people")
//2.运行SQL的方式查询数据，注意，全局临时视图需关联系统数据库global_temp
spark.sql("SELECT * FROM global_temp.people").show()
//3.在一个新的会话中查询数据
spark.newSession().sql("SELECT * FROM global_temp.people").show()

1.4Dataset

第一种方式
- 通过createDataset方法传递RDD或Seq参数
- createDataset[T : Encoder](data: Seq[T])
- createDataset[T : Encoder](data: RDD[T])
第二种方式
- 通过DataFrame对象转化创建
- df.as[T]
第三种方式
- 通过RDD或Seq对象隐式转化创建
- rdd.toDS
- seq.toDS

1.5Dataset API方法

类似于RDD的API
- map
- flatMap
- mapPartitions
- filter
- joinWith
- orderBy
- repartition
- repartitionByRange
- sample
- transform
- sort
- sortWithinPartitions
- union
- unionByName
- distinct
- coalesce
输出到控制台
- show([numRows: Int,[truncate: Boolean|truncate: Int,[vertical: Boolean]]]):Unit
查看数据结构信息
- printSchema():Unit
查询对应列数据
- select(col: String, cols: String*): DataFrame
- *select(cols: Column*): DataFrame
- selectExpr(exprs: String*): DataFrame
- select[U1](c1: TypedColumn[T, U1]): Dataset[U1]
按条件查询
- where(condition: Column|conditionExpr: String): Dataset[T]
- filter(condition: Column|conditionExpr: String|func: T => Boolean):Dataset[T]
限制返回行数
- limit(n: Int): Dataset[T]
分组
- groupBy(cols: Column*|col1: String, cols: String*): RelationalGroupedDataset
获取某列数据
- apply(colName: String): Column
- col(colName: String): Column

注意，完整的方法可查看Dataset参考API文档。

第五章 Spark-SQL进阶（一）之Dataset用法相关推荐

数据库系统概念总结：第五章高级SQL
周末无事水文章,期末备考的总结资料第五章高级SQL 5.1 使用程序设计语言访问数据库 5.1.1 JDBC(Java DataBase Connectivity) JDBC标准定义了Java程序 ...
Spark性能优化 -- Spark SQL、DataFrame、Dataset
本文将详细分析和总结Spark SQL及其DataFrame.Dataset的相关原理和优化过程. Spark SQL简介 Spark SQL是Spark中具有大规模关系查询的结构化数据处理模块 ...
SQL进阶之自连接的用法
SQL进阶之自连接的用法自连接越前须知(雾) 具体用法可重排列.排列.组合查询局部不一致的记录排序不分组排序分组排序自连接越前须知(雾) 本系列参考<SQL进阶教程>1, ...
Spark入门（五）Spark SQL shell启动方式(元数据存储在derby)
一.spark-sql shell介绍 Spark sql是以hive SQL提交spark任务到spark集群执行. 由于spark是计算框架没有存储功能,所有spark sql数据表映射关系存储在 ...
Spark SQL之RDD, DataFrame, DataSet详细使用
前言 Spark Core 中,如果想要执行应用程序,需要首先构建上下文环境对象 SparkContext,Spark SQL 其实可以理解为对 Spark Core 的一种封装,不仅仅在模型上进行了 ...
SQL进阶--EXISTS谓词的用法
SQL谓词指的是返回真值的函数 EXISTS与其他谓词不同,接受的参数是集合因此EXISTS可以看出一种高阶的函数 SQL中没有与全称量词相当的谓词,可以使用not exists代替 1.存在量化 ...
Mysql高级调优篇——第五章：Sql调优在面试中深度剖析
上节讲了Sql调优实战,本章聊聊面试中Sql调优深度的剖析场景! 在讲之前我们先做一些准备工作,建立一些需要用到的表: Mysql高级调优篇表补充--建表SQL_风清扬逍遥子的博客-CSDN博客⭐️t ...
SQL进阶教程——自连接的用法（第二章）
1. 什么是自连接针对相同的表进行的连接被称为"自连接",一旦熟练掌握自连接技术,我们便能快速的解决很多问题.但是,其处理过程不太容易想象,以至于常常被人们敬而远之. 理解自连接 ...
【Apache Spark 】第 6 章Spark SQL 和数据集
【Apache Spark 】第 5 章Spark SQL 和 DataFrames：与外部数据源交互

第五章 Spark-SQL进阶（一）之Dataset用法