Spark常用函数讲解之键值RDD转换
摘要:
RDD:弹性分布式数据集,是一种特殊集合 ‚ 支持多种来源 ‚ 有容错机制 ‚ 可以被缓存 ‚ 支持并行操作,一个RDD代表一个分区里的数据集
RDD有两种操作算子:
Transformation(转换):Transformation属于延迟计算,当一个RDD转换成另一个RDD时并没有立即进行转换,仅仅是记住 了数据集的逻辑操作
Ation(执行):触发Spark作业的运行,真正触发转换算子的计算
本系列主要讲解Spark中常用的函数操作:
1.RDD基本转换
2.键-值RDD转换
3.Action操作篇
本节所讲函数
1.mapValus
2.flatMapValues
3.comineByKey
4.foldByKey
5.reduceByKey
6.groupByKey
7.sortByKey
8.cogroup
9.join
10.LeftOutJoin
11.RightOutJoin
1.mapValus(fun):对[K,V]型数据中的V值map操作
(例1):对每个的的年龄加2
1 2 3 4 5 6 7 8 9 10 |
|
输出:
(mobin,24) (kpop,22) (lufei,25)
(RDD依赖图:红色块表示一个RDD区,黑色块表示该分区集合,下同)
2.flatMapValues(fun):对[K,V]型数据中的V值flatmap操作
(例2):
1 2 3 4 |
|
输出:
(mobin,22) (mobin,male) (kpop,20) (kpop,male) (lufei,23) (lufei,male)
如果是mapValues会输出:
(mobin,List(22, male)) (kpop,List(20, male)) (lufei,List(23, male))
(RDD依赖图)
3.comineByKey(createCombiner,mergeValue,mergeCombiners,partitioner,mapSideCombine)
comineByKey(createCombiner,mergeValue,mergeCombiners,numPartitions)
comineByKey(createCombiner,mergeValue,mergeCombiners)
createCombiner:在第一次遇到Key时创建组合器函数,将RDD数据集中的V类型值转换C类型值(V => C),
如例3:
mergeValue:合并值函数,再次遇到相同的Key时,将createCombiner道理的C类型值与这次传入的V类型值合并成一个C类型值(C,V)=>C,
如例3:
mergeCombiners:合并组合器函数,将C类型值两两合并成一个C类型值
如例3:
partitioner:使用已有的或自定义的分区函数,默认是HashPartitioner
mapSideCombine:是否在map端进行Combine操作,默认为true
注意前三个函数的参数类型要对应;第一次遇到Key时调用createCombiner,再次遇到相同的Key时调用mergeValue合并值
(例3):统计男性和女生的个数,并以(性别,(名字,名字....),个数)的形式输出
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
|
输出:
(male,(List(Lufei, Kpop, Mobin),3)) (female,(List(Amy, Lucy),2))
过程分解:
Partition1: K="male" --> ("male","Mobin") --> createCombiner("Mobin") => peo1 = ( List("Mobin") , 1 ) K="male" --> ("male","Kpop") --> mergeValue(peo1,"Kpop") => peo2 = ( "Kpop" :: peo1_1 , 1 + 1 ) //Key相同调用mergeValue函数对值进行合并 K="female" --> ("female","Lucy") --> createCombiner("Lucy") => peo3 = ( List("Lucy") , 1 )Partition2: K="male" --> ("male","Lufei") --> createCombiner("Lufei") => peo4 = ( List("Lufei") , 1 ) K="female" --> ("female","Amy") --> createCombiner("Amy") => peo5 = ( List("Amy") , 1 )Merger Partition: K="male" --> mergeCombiners(peo2,peo4) => (List(Lufei,Kpop,Mobin)) K="female" --> mergeCombiners(peo3,peo5) => (List(Amy,Lucy))
(RDD依赖图)
4.foldByKey(zeroValue)(func)
foldByKey(zeroValue,partitioner)(func)
foldByKey(zeroValue,numPartitiones)(func)
foldByKey函数是通过调用CombineByKey函数实现的
zeroVale:对V进行初始化,实际上是通过CombineByKey的createCombiner实现的 V => (zeroValue,V),再通过func函数映射成新的值,即func(zeroValue,V),如例4可看作对每个V先进行 V=> 2 + V
func: Value将通过func函数按Key值进行合并(实际上是通过CombineByKey的mergeValue,mergeCombiners函数实现的,只不过在这里,这两个函数是相同的)
例4:
1 2 3 4 5 |
|
输出:
(Amy,2) (Mobin,4) (Lucy,6)
先对每个V都加2,再对相同Key的value值相加。
5.reduceByKey(func,numPartitions):按Key进行分组,使用给定的func函数聚合value值, numPartitions设置分区数,提高作业并行度
例5
1 2 3 4 5 6 |
|
输出:
(A,5) (A,4)
(RDD依赖图)
6.groupByKey(numPartitions):按Key进行分组,返回[K,Iterable[V]],numPartitions设置分区数,提高作业并行度
例6:
1 2 3 4 5 6 |
|
输出:
(B,CompactBuffer(2, 3)) (A,CompactBuffer(1, 2))
以上foldByKey,reduceByKey,groupByKey函数最终都是通过调用combineByKey函数实现的
7.sortByKey(accending,numPartitions):返回以Key排序的(K,V)键值对组成的RDD,accending为true时表示升序,为false时表示降序,numPartitions设置分区数,提高作业并行度
例7:
1 2 3 4 5 6 |
|
输出:
(A,1) (A,2) (B,2) (B,3)
8.cogroup(otherDataSet,numPartitions):对两个RDD(如:(K,V)和(K,W))相同Key的元素先分别做聚合,最后返回(K,Iterator<V>,Iterator<W>)形式的RDD,numPartitions设置分区数,提高作业并行度
例8:
1 2 3 4 5 6 7 8 |
|
输出:
(B,(CompactBuffer(2, 3),CompactBuffer(B1, B2))) (A,(CompactBuffer(1, 2),CompactBuffer(A1, A2)))
(RDD依赖图)
9.join(otherDataSet,numPartitions):对两个RDD先进行cogroup操作形成新的RDD,再对每个Key下的元素进行笛卡尔积,numPartitions设置分区数,提高作业并行度
例9
1 2 3 4 5 6 7 |
|
输出:
(B,(2,B1)) (B,(2,B2)) (B,(3,B1)) (B,(3,B2))(A,(1,A1)) (A,(1,A2)) (A,(2,A1)) (A,(2,A2)
(RDD依赖图)
10.LeftOutJoin(otherDataSet,numPartitions):左外连接,包含左RDD的所有数据,如果右边没有与之匹配的用None表示,numPartitions设置分区数,提高作业并行度
例10:
1 2 3 4 5 6 7 8 |
|
输出:
(B,(2,Some(B1))) (B,(2,Some(B2))) (B,(3,Some(B1))) (B,(3,Some(B2)))(C,(1,None))(A,(1,Some(A1))) (A,(1,Some(A2))) (A,(2,Some(A1))) (A,(2,Some(A2)))
11.RightOutJoin(otherDataSet, numPartitions):右外连接,包含右RDD的所有数据,如果左边没有与之匹配的用None表示,numPartitions设置分区数,提高作业并行度
例11:
1 2 3 4 5 6 7 8 |
|
输出:
(B,(Some(2),B1)) (B,(Some(2),B2)) (B,(Some(3),B1)) (B,(Some(3),B2))(C,(None,C1))(A,(Some(1),A1)) (A,(Some(1),A2)) (A,(Some(2),A1)) (A,(Some(2),A2))
以上例子源码地址:https://github.com/Mobin-F/SparkExample/tree/master/src/main/scala/com/mobin/SparkRDDFun/TransFormation/RDDBase
Spark常用函数讲解之键值RDD转换相关推荐
- spark编程基础--5.2键值对RDD
键值对RDD的创建 常用的键值对转换操作 reduceByKey(func) groupByKey() keys values sortByKey() mapValues(func) join com ...
- spark常用函数比较
2019独角兽企业重金招聘Python工程师标准>>> 算法分类:转换(transformation)和执行(action) 查看算子使用demo coalesce & re ...
- Requests库部署与常用函数讲解
目录 1.Requests常用函数讲解 2.JsonPath讲解 3.接口关联 实现登录 下单流程 1.Requests常用函数讲解 import jsonimport jsonpath import ...
- spark 常用函数介绍(python)
在开始之前,我先介绍一下,RDD是什么? RDD是Spark中的抽象数据结构类型,任何数据在Spark中都被表示为RDD.从编程的角度来看,RDD可以简单看成是一个数组.和普通数组的区别是,RDD中的 ...
- Spark常用算子讲解二
groupByKey groupByKey([numTasks])是数据分组操作,在一个由(K, V)键值对组成的数据集上调用,返回一个(K, Seq[V])对的数据集. 注意,如果要对每个键执行聚合 ...
- redis安装、持久化、数据类型、常用操作、操作键值、安全设置、慢查询日志、存储session、主从配置、集群介绍、集群搭建配置、集群操作,php安装redis扩展...
21.9 redis介绍 21.10 redis安装 21.11 redis持久化 21.12 redis数据类型 21.13/21.14/21.15 redis常用操作 21.16 redis操作键 ...
- php常用函数讲解,php常用函数处理的函数解析
本篇将讲解php常用函数处理的函数解析. func_get_arg - 返回参数列表的某一项 func_get_args - 返回一个包含函数参数列表的数组 func_num_args - 返回传递给 ...
- Spark一路火花带闪电——Spark常用算子(参数及其返回值)探究
文章目录 转化算子 行动算子 转化算子 以数据Seq(1,2,3,3)为例子 map(f:T => U):RDD[U] 映射:将函数应用于RDD内的每个元素,将其返回值构成新的RDD rdd.m ...
- linux的自定义input,linux键值到Android键值的转换与自定义
首先要确定按键输入设备是对应/dev/input目录下哪个event,根据VID PID匹配对应的kl文件,可通过如下命令 cat /proc/bus/input/devices 查看设备信息 fra ...
最新文章
- python工具之myql数据库操作
- python统计单词频率、存放在字典中_Python3实现统计单词表中每个字母出现频率的方法示例...
- 大型单细胞数据分析解决方案
- mysql 字符串中取整_MySQL取整
- 如何提升代码可读性?阿里发布16条设计规约
- 光学基础 光学积分器-通光管及透镜阵列
- 分布式机器学习框架:MxNet 前言
- JAVA Swing GUI设计 WindowBuilder Pro Container使用大全6——JLayeredPane使用
- python 局域网通信_python实现局域网内实时通信代码
- 转:Java中abstract和interface的区别
- Android9王者荣耀卡顿,王者荣耀卡顿掉帧?教你如何让王者荣耀流畅爆表
- unity 自定义渲染管线
- 北京五大不可不去的隐秘餐厅
- 回归的误差服从正态分布吗_计量经济学中为什么误差项u服从正态分布,则系数也服从正态分布...
- modelsim vopt
- 计算机随机数字excel,excel怎么生成随机数字 excel随机数字区间怎么设定
- 爬虫学习:基本库的使用
- 终端模拟器 java_程序员必备之终端模拟器,让你的终端世界多一抹“颜色”
- 锦言妙语(Englist一百句)
- vue数组中添加新字段,改变字段后值没有比变化
热门文章
- mysql 枚举_是否推荐使用MySQL的enum类型?
- spring 扫描所有_从Spring的几个阶段理解其工作过程
- DNS域名解析服务(正向解析,反向解析,主从解析)
- Kubernetes——基本概念与理论
- java静态局部变量_java中成员变量,局部变量,静态变量的辨析
- RAID简介与示例演示
- 单臂路由与三层交换技术简单介绍
- opencore0.6.4_心灵终结3.3.4
- 刘子佼 mysql 下载_MySQL数据管理之备份恢复案例解析 23讲 Mysql备份恢复实战 视频教程...
- ssm 退出登录 java_【Java】ssm Dao层无返回 函数始终不退出