spark算子大全glom_Spark 算子- Value Transformation

Spark算子的作用

Spark的输入、运行转换、输出过程，在运行转换中通过算子对RDD进行转换

输入：外部数据空间(HDFS、Scala集合)输入Spark，数据进入Spark运行时数据空间，转化为Spark数据块，通过BlockManager管理

运行：输入形成RDD后，通过算子操作生成新的RDD，通过Action算子，触发Spark提交作业

输出：程序结束数据输出到运行时数据空间，存储到分布式存储或Scala数据

算子分类

Value数据类型的Transformation算子

Key-Value数据类型的Transformation算子

Action算子

Value数据类型的Transformation算子

输入输出一对一

map

将原RDD的每一个数据通过map中用户自定义函数f映射转为一个新的元素

map

flatMap

将原RDD的每一个数据通过函数f转换为新的元素，将生成的RDD的每个集合中的元素合并为一个集合

flatMap

mapPartitions

获取到每个分区的迭代器(Iterator)，通过这个分区整体的迭代器对整个分区的元素进行操作

mapPartitions

glom

将每个分区形成一个数组

glom

输入输出多对一

union

在两个RDD元素数据类型相同时，合并两个RDD的元素，并不去重

如果要去重使用distinct()，++相当于union()

union

cartesian

对两个RDD内的所有元素进行笛卡尔积操作

cartesian

输入输出多对多

groupBy

将元素通过函数生成相应的key，数据转化为key-value，然后将key相同的元素分为一组

groupBy

输入是输出子集

filter

对元素进行过滤

filter

distinct

元素去重操作

distinct

subtract

集合差操作，RDD1-RDD2

subtract

sample

对RDD集合中的元素进行采样，获取所有元素的子集，可以设定有放回抽样、百分比、随机种子，决定采样方式

sample

takeSample

与sample函数原理相同，但不使用相对比例采样，按设定的采样个数进行采样，返回的不是RDD而是单机的数组，相当于执行了collect()操作

takeSample

cache类型

cache

将RDD元素从磁盘缓存到内存，相当于persist(MEMORY_ONLY)

cache

persist

对RDD缓存，缓存模式由StorageLevel决定，参考 RDD持久化级别

作者：Alex90

链接：https://www.jianshu.com/p/841963caf214

spark算子大全glom_Spark 算子- Value Transformation相关推荐

Halcon算子大全
##Halcon算子大全 Halcon算子大全 Chapter 1 :Classification 1.1 Gaussian-Mixture-Models 1.add_sample_class_gmm ...
spark算子大全glom_（七）Spark Streaming 算子梳理 — repartition算子
目录天小天:(一)Spark Streaming 算子梳理 - 简单介绍streaming运行逻辑天小天:(二)Spark Streaming 算子梳理 - flatMap和mapPartitio ...
Spark转换算子大全以及案例实操
1.RDD 转换算子 RDD转换算子实际上就是换了名称的RDD方法 RDD 根据数据处理方式的不同将算子整体上分为 Value 类型.双 Value 类型和 Key-Value 类型算子:Opera ...
spark算子_Spark常用算子
Spark的算子分类: 从大方向说,Spark算子大致可以分为以下两类: (1)Transformation变换/转换算子:这种变换并不触发提交作业,这种算子是延迟执行的,也就是说从一个RDD转换生成 ...
spark中各类key算子的用法汇总(持续更新中)
启动方式: spark-shell --master yarn 依赖导入: import org.apache.spark.{SparkConf, SparkContext} 输出rdd的类型举例: ...
Spark 常用算子详解（转换算子、行动算子、控制算子）
Spark简介 Spark是专为大规模数据处理而设计的快速通用的计算引擎: Spark拥有Hadoop MapReduce所具有的优点,但是运行速度却比MapReduce有很大的提升,特别是在数据挖掘 ...
Spark _07_补充部分算子【二】
接Spark _06_补充部分算子[一] https://blog.csdn.net/qq_41946557/article/details/102673673 scala API package d ...
spark中的转换算子和行动算子区别(transformations and actions)
算子(RDD Operations): 对于初学者来说,算子的概念比较抽象,算子可以直译为 "RDD的操作", 我们把它理解为RDD的方法即可 . 转换算子(transformat ...
spark之RDD的转换算子与行为算子的具体使用
文章目录 1.Transform算子 1.1 map 1.2 flatmap 1.3 groupBy和groupBykey 1.4 filter 1.5 Mappartitions 1.6 mapVa ...
2021年大数据Spark（十六）：Spark Core的RDD算子练习
目录 RDD算子练习 map 算子 filter 算子 flatMap 算子交集.并集.差集.笛卡尔积 distinct 算子 first.take.top 算子 ...

spark算子大全glom_Spark 算子- Value Transformation

spark算子大全glom_Spark 算子- Value Transformation相关推荐

最新文章

热门文章