三、Spark DataSet基本操作

3.1、DataSet简介

DataSet是分布式的数据集合，DataSet提供了强类型支持，也是在RDD的每行数据加了类型约束。
DateSet整合了RDD和DataFrame的优点，支持结构化和非结构化数据。
DataFrame表示为DataSet[Row]，即DataSet的子集。
DataSet是面向对象的编程接口，可以通过JVM的对象进行构建DataSet。

3.1.1、DataFrame的缺点

编译时不能类型转化安全检查，运行时才能确定是否有问题
对于对象支持不友好，rdd内部数据直接以java对象存储，dataframe内存存储的是row对象而不能是自定义对象

3.1.2、DateSet的优点

DateSet整合了RDD和DataFrame的优点，支持结构化和非结构化数据
和RDD一样，支持自定义对象存储
和DataFrame一样，支持结构化数据的sql查询
采用堆外内存存储，gc友好
类型转化安全，代码友好

3.2、创建DataSet

从集合创建DataSet
从rdd创建DataSet
从DataFrame创建DataSet

3.2.1、从集合创建DataSet

createDataset[T](data: List[T])

3.2.2、从rdd创建DataSet

createDataset[T](data: RDD[T])

3.2.3、从DataFrame创建DataSet

dataSet=dataFrame.as[强类型]

任务1：读取Hive表中的超市商品销售数据

创建Hive表
导入用户购买数据到Hive表
读取Hive表数据创建DataSet

数据 GoodOrder.csv：

步骤：
① 因为是csv，所以我们先上传到hdfs上

② 打开spark-shell，通过DataFrame方式保存到hive中

hive中查看数据：

③ 读取Hive表数据创建DataSet

3.3、DataSet API

应用示例：
(这是一个DataSet)

任务2：统计每件商品的销量

根据商品分组统计商品销量
将统计结果保存到Hive

hive查看：

学习笔记Spark（八）—— Spark SQL应用（3）—— Spark DataSet基础操作相关推荐

MySQL数据库学习笔记（九）----JDBC的ResultSet接口（查询操作）、PreparedStatement接口重构增删改查（含SQL注入的解释）...
[声明] 欢迎转载,但请保留文章原始出处→_→ 生命壹号:http://www.cnblogs.com/smyhvae/ 文章来源:http://www.cnblogs.com/smyhvae/p/4 ...
Kotlin 学习笔记（八）—— Kotlin类与对象之接口
Kotlin 学习笔记(八)-- Kotlin类与对象之接口 Kotlin学习笔记系列教程 Kotlin 学习笔记(一)-- 概述.学习曲线.开发工具.参考资料 Kotlin 学习笔记(二)-- 基础 ...
Windows进程与线程学习笔记（八）—— 线程切换与TSS/FS
Windows进程与线程学习笔记(八)-- 线程切换与TSS/FS 要点回顾线程切换与TSS 内核堆栈调用API进0环实验:分析SwapContext 线程切换与FS 段描述符结构分析Swap ...
Windows保护模式学习笔记（八）—— 页目录表基址/页表基址
Windows保护模式学习笔记(八)-- 页目录表基址/页表基址要点回顾一.页目录表基址实验:拆分线性地址C0300000,并查看其对应的物理页第一步:打开一个进程,获得它的Cr3 第二步:查 ...
OpenCV学习笔记（八）：形态学morpholgy(2)：开/闭运算，形态学梯度、顶帽/黑帽morphologyEx()
OpenCV学习笔记(八):形态学morpholgy(2):开.闭运算,形态学梯度.顶帽.黑帽:morphologyEx() 数学形态学(Mathematical morphology) 是一门建立在 ...
QT学习笔记（八）：顺序容器和关联容器
QT学习笔记(八):顺序容器和关联容器一.前言二.容器介绍 2.1 顺序容器 2.2 关联容器二.顺序容器示例三.关联容器一.前言在Qt库中为我们提供了一系列的基于模板的容器类(conta ...
ROS学习笔记（八）： ROS通信架构
ROS学习笔记(八): ROS通信架构文章目录 01 Node & Master 1.1 Node 1.2 Master 1.3 启动master和node 1.4 rosrun和rosno ...
MATLAB学习笔记（八）
MATLAB学习笔记(八) 一.二维曲线 1.1 plot函数 1.2 fplot函数二.绘制图形的辅助操作 2.1 图形标注 2.2 坐标控制 2.3 图形保持 2.4 图形窗口分割三.其他形式 ...
LabView学习笔记（八）：属性节点
Labview学习笔记: LabView学习笔记(一):基础介绍 LabView学习笔记(二):滤波器实验 LabView学习笔记(三):基本控件 LabView学习笔记(四):动态数据类型 LabV ...
Unity-URP学习笔记（八）使用RendererFeature制作屏幕后期-高斯模糊
Unity-URP学习笔记(八)使用RendererFeature制作屏幕后期-高斯模糊 URP使用RendererFeature制作高斯模糊结果展示 Shader展示 GaussianBlurRe ...

学习笔记Spark（八）—— Spark SQL应用（3）—— Spark DataSet基础操作

三、Spark DataSet基本操作

3.1、DataSet简介

3.1.1、DataFrame的缺点

3.1.2、DateSet的优点

3.2、创建DataSet

3.2.1、从集合创建DataSet

3.2.2、从rdd创建DataSet

3.2.3、从DataFrame创建DataSet

任务1：读取Hive表中的超市商品销售数据

3.3、DataSet API

任务2：统计每件商品的销量

学习笔记Spark（八）—— Spark SQL应用（3）—— Spark DataSet基础操作相关推荐

最新文章

热门文章