spark convert RDD[Map] to DataFrame

将RDD[Map[String,String]] 转化为展平 DataFrame，类似于pyspark 中 dict 结构toDF的效果。

input

val mapRDD: RDD[Map[String, String]] = sc.parallelize(Seq(Map("name" -> "zhangsan", "age" -> "18", "addr" -> "bj"),Map("name" -> "lisi", "age" -> "20", "addr" -> "hz"),
))

output

name     age addr
zhangsan 18  bj
lisi     20  hz

1. Map中元素固定

每个 Map 只有三个元素的情况下

val columns=mapRDD.take(1).flatMap(_.keys)val resultantDF=mapRDD.filter(_.nonEmpty).map{m=>val seq=m.values.toSeq(seq(0),seq(1),seq(2))}.toDF(columns:_*)resultantDF.show()

2. Map中元素不固定
RDD[Map[String,String]] -> RDD[Row] -> DataFrame

  def map2DF(spark: SparkSession, rdd: RDD[Map[String, String]]): DataFrame = {val cols = rdd.take(1).flatMap(_.keys)val resRDD = rdd.filter(_.nonEmpty).map { m =>val seq = m.values.toSeqRow.fromSeq(seq)}val fields = cols.map(fieldName => StructField(fieldName, StringType, nullable = true))val schema = StructType(fields)spark.createDataFrame(resRDD, schema)}

spark convert RDD[Map] to DataFrame相关推荐

Spark中RDD转换成DataFrame的两种方式（分别用Java和scala实现）
一:准备数据源在项目下新建一个student.txt文件,里面的内容为: [plain] view plain copy print? <code class=&q ...
Spark中RDD、DataFrame和DataSet的区别与联系
一.RDD.DataFrame和DataSet的定义在开始Spark RDD与DataFrame与Dataset之间的比较之前,先让我们看一下Spark中的RDD,DataFrame和Dataset ...
Spark SQL 1.3.0 DataFrame介绍、使用及提供了些完整的数据写入
问题导读 1.DataFrame是什么? 2.如何创建DataFrame? 3.如何将普通RDD转变为DataFrame? 4.如何使用DataFrame? 5.在1.3.0中,提供了哪些完整的 ...
Spark 把RDD数据保存到hdfs单个文件中，而不是目录
相比于Hadoop,Spark在数据的处理方面更加灵活方便.然而在最近的使用中遇到了一点小麻烦:Spark保存文件的的函数(如saveAsTextFile)在保存数据时都需要新建一个目录,然后在这个目 ...
Spark的RDD持久化
RDD持久化 1. RDD Cache 缓存说明 RDD 通过Cache 或者Persist 方法将前面的计算结果缓存,默认情况下会把数据以缓存在JVM 的堆内存中.但是并不是这两个方法被调用时立即 ...
Spark的RDD依赖关系
RDD依赖关系 RDD 血缘关系 RDD 只支持粗粒度转换,即在大量记录上执行的单个操作.将创建 RDD 的一系列Lineage(血统)记录下来,以便恢复丢失的分区.RDD 的Lineage 会记录R ...
Spark的RDD行动算子
目录基本概念算子介绍 1. reduce 2. collect 3. count 4. first 5. take 6. takeOrdered 案例实操1-6 7. aggregate 8. f ...
Spark的RDD转换算子
目录 RDD转换算子 Value 类型 1. map 2. mapPartitions map 和mapPartitions 的区别 3. mapPartitionsWithIndex 4. flat ...
spark算子大全glom_2小时入门Spark之RDD编程
公众号后台回复关键字:pyspark,获取本项目github地址. 本节将介绍RDD数据结构的常用函数.包括如下内容: 创建RDD 常用Action操作常用Transformation操作常用Pa ...

spark convert RDD[Map] to DataFrame

spark convert RDD[Map] to DataFrame相关推荐

最新文章

热门文章