Spark（4）——transformation、action、persist

2024-05-11 19:10:13

RDD数据是不可变的：

transformation

将一个RDD变成一个新的RDD’
比如mapreduce中的map操作，将数据集里的元素做处理变成新的元素，形成RDD’。transformation是不会立刻将结果算出来的，相当于把你的意图记下来，最后还要经过action这样的刺激才会返回计算结果。如下几个算子属于transformation操作：
（1）map（func）操作，上图已经用到
（2）filter（func）操作，将满足函数的元素返回true值并保存，不满足的过滤掉
（3）flatMap（func）操作，先将元素进行map，再把所得到的所有元素变成一个对象：
<1>flatMap

<2>map

对比可以看出，map出来的还是两个对象，而flatMap出来的对象只有一个。
（4）union、intersection
求两个RDD之间的并集与交集
（5）groupByKey
将元组中的第0个元素当做key，进行分组

action

就像上面所说的transformation，它是惰性的，必须要有一个东西刺激它才会出结果，action就派上了用场，如下也有一些action算子：
（1）collect
（2）reduce
（3）first

persisit

此操作将数据缓存在内存或者磁盘上。
其实还有一些算子没有列出，欢迎大家补充指正

Spark（4）——transformation、action、persist相关推荐

Spark（火花）快速、通用的大数据处理引擎框架
一.什么是Spark(火花)? 是一种快速.通用处理大数据分析的框架引擎. 二.Spark的四大特性 1.快速: Spark内存上采用DAG(有向无环图)执行引擎非循环数据流和内存计算支持. 内存上比 ...
spark（kryo）、hadoop（writable）、jdk（serializable）-序列化
一.SRC 一个类在jvm中是有结构的,但即使是在jvm中,也是一堆数据.网络只能传文本,所以需要序列化和反序列化. 通过几种方式的序列化后文本输出到本地文件,可以对比下大小. 二.jdk的序列化将 ...
Struts2框架--学习笔记（下）：OGNL表达式、值栈操作、拦截器、struts2标签、文件上传
一.OGNL概述:OGNL是一种表达式 (1)在struts2中操作值栈数据. (2)一般把ognl在struts2中操作,和struts2标签一起使用操作值栈. (3)ognl不是strut2的一部 ...
C++ 学习笔记（19）new/delete表达式、定位new、typeid、dynamic_cast、type_info、枚举类型、成员函数指针、union、位域、volatile限定符、链接指示
C++ 学习笔记(19)new/delete表达式.定位new.typeid.dynamic_cast.type_info.枚举类型.成员函数指针.union.位域.volatile限定符.链接指示 ...
Node.js b站教学视频汇总笔记（完）CommonJS模块规范、 require、npm、Express(中间件)、MongoDB、MySQL
文章目录 Node.js b站教学视频汇总笔记(完)CommonJS模块规范. require.npm.Express(中间件).MongoDB.MySQL 1. Node介绍为什么要学习Node. ...
Android-Framework学习笔记（九）—— Broadcast的注册、发送和接收过程
系列文章 Android-Framework学习笔记(一)-- Android系统架构 Android-Framework学习笔记(二)-- Zygote进程启动过程 Android-Framewor ...
基于Metronic的Bootstrap开发框架经验总结（7）--数据的导入、导出及附件的查看处理...
在很多系统模块里面,我们可能都需要进行一定的数据交换处理,也就是数据的导入或者导出操作,这样的批量处理能给系统用户更好的操作体验,也提高了用户录入数据的效率.我在较早时期的EasyUI的Web框架上, ...
《OpenCV3编程入门》学习笔记6 图像处理（四）形态学滤波（2）：开运算、闭运算、形态学梯度、顶帽、黑帽
6.4 形态学滤波(2):开运算.闭运算.形态学梯度.顶帽.黑帽高级形态学变换,基于腐蚀与膨胀,利用morphologyEx函数实现 6.4.1 开运算 1.腐蚀后膨胀的过程,数学表达式:dst=o ...
泰坦尼克号（titanic）数据集字段解释、数据导入实战
泰坦尼克号(titanic)数据集字段解释.数据导入实战目录泰坦尼克号(titanic)数据集字段解释.数据导入实战 #数据字段说明 #导入数据 #数据字段说明 # 尽管在沉船事件中幸存下有'一些 ...

最新文章

热门文章