一 SparkSQL简介

Spark SQL是一个能够利用Spark进行结构化数据的存储和操作的组件，结构化数据可以来自外部结构化数据源也可以通过RDD获取。

外部的结构化数据源包括Hive,JSON,Parquet,RMDBS等。当前Spark SQL使用Catalyst优化器来对SQL进行优化，从而得到更加高效的执行方案。并且可以将结果存储到外部系统。

二 DataFrame & Dataset介绍

2.1DataFrame 介绍

DataFrame是一种以RDD为基础的分布式数据集，类似于传统数据块中的表，它与RDD最主要的区别在于：DataFrame有schema元数据，即DataFrame所表示的数据集的每一列都有名称和数据类型。正是因为有了这些schema元数据，Sparl SQL的查询优化器就可以进行针对性的优化

2.2 Dataset介绍

Dataset也是一种分布式数据集，可以使用map，flatmap等函数进行转换,DataFrame是一个Dataset的特例，等价于Dataset[Row]; Dataset的操作分为transformation和action 两种，transformation用于创建新的Dataset，而action用于计算操作；它和RDD一样具有惰性，只有action操作被调用的时候才会进行计算；DataSet创立需要一个显式的Encoder，把对象序列化为二进制

三 RDD、DataFrame、Dataset之间的比较

3.1 相同点

# RDD、DataFrame、Dataset全都是spark平台下的分布式弹性数据集

# 三者都有惰性机制，在进行创建、转换，如map方法时，不会立即执行。只有在执行action操作的时候，才会进行计算。

3.2 不同点

3.2.1 RDD和 DataFrame的比较

# 前者没有schema信息；后者有schema信息

# RDD无法得知所存的数据元素的具体内部结构，Spark Core只能在stage层面进行简单的优化；后者因为有schema信息，Sparl SQL的查询优化器就可以进行针对性的优化

# RDD通过函数式调用API，虽然简洁明了，但是需要创建新的对象，不容易重用旧的对象，给GC带来挑战；DataFrame是尽可能的重用对象

3.2.2 DataFrame和 Dataset的比较

# DataFrame是带有类型的，即需要指定类型；但是DataFrame无需指定类型。DataFrame是一个Dataset的特例，等价于Dataset[Row]

# DataFrame带有schema，而DataSet没有schema

spark基础之RDD和DataFrame和Dataset比较相关推荐

spark sql定义RDD、DataFrame与DataSet
RDD 优点: 编译时类型安全编译时就能检查出类型错误面向对象的编程风格直接通过类名点的方式来操作数据缺点: 序列化和反序列化的性能开销无论是集群间的通信, 还是IO操作都需要对对象的结构和 ...
spark基础之RDD和DataFrame的转换方式
一通过定义Case Class,使用反射推断Schema 定义Case Class,在RDD的转换过程中使用Case Class可以隐式转换成SchemaRDD,然后再注册成表,然后就可以利用sql ...
【大数据开发】SparkSQL——RDD、DataFrame、DataSet相互转换、DSL常用方法、SQL风格语法、Spark读写操作、获取Column对象的方式
take,takeAsList是Action操作 limit⽅法获取指定DataFrame的前n⾏记录,得到⼀个新的DataFrame对象.和take与head不同的是,limit⽅法不是Action ...
Spark中RDD、DataFrame和DataSet的区别与联系
一.RDD.DataFrame和DataSet的定义在开始Spark RDD与DataFrame与Dataset之间的比较之前,先让我们看一下Spark中的RDD,DataFrame和Dataset ...
大数据入门：Spark RDD、DataFrame、DataSet
在Spark的学习当中,RDD.DataFrame.DataSet可以说都是需要着重理解的专业名词概念.尤其是在涉及到数据结构的部分,理解清楚这三者的共性与区别,非常有必要.今天的大数据入门分享,我们 ...
专业工程师看过来~ | RDD、DataFrame和DataSet的细致区别
作者:苏小宝,现任华为工程师. RDD.DataFrame和DataSet是容易产生混淆的概念,必须对其相互之间对比,才可以知道其中异同. RDD和DataFrame 上图直观地体现了DataFram ...
RDD、DataFrame和DataSet
简述 RDD.DataFrame和DataSet是容易产生混淆的概念,必须对其相互之间对比,才可以知道其中异同:DataFrame多了数据的结构信息,即schema.RDD是分布式的 Java对象的集 ...
RDD、DataFrame、DataSet原理解析
一.RDD.DataFrame.DataSet三者概念 1. RDD:全称Resilient Distributed Dataset,弹性分布式数据集,Spark中最基础的数据抽象,特点是RDD只包含 ...
RDD和DataFrame和Dataset比较
一 SparkSQL简介 Spark SQL是一个能够利用Spark进行结构化数据的存储和操作的组件,结构化数据可以来自外部结构化数据源也可以通过RDD获取. 外部的结构化数据源包括Hive,JSON ...

spark基础之RDD和DataFrame和Dataset比较