spark2.1：rdd.combineByKeyWithClassTag的用法示例

测试spark版本：

Spark context Web UI available at http://192.168.1.1:32735
Spark context available as 'sc' (master = local[*], app id = local-1380172893828).
Spark session available as 'spark'.
Welcome to____              __/ __/__  ___ _____/ /___\ \/ _ \/ _ `/ __/  '_//___/ .__/\_,_/_/ /_/\_\   version 2.1.0/_/Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_72)
Type in expressions to have them evaluated.
Type :help for more information.

备注：spark1.5中没有提供rdd.combineByKeyWithClassTag算子，但提供的有rdd.combineByKey算子（spark2.1中依然保留）。

使用示例：

scala> case class FModel(cgridid: Int, angle: Double, drsrp: Double, distance: Double)
defined class FModelscala>  val sample_rdd=sc.makeRDD(|       Array(|         (1,FModel(1,2.0,2.1,2.2)),|         (1,FModel(2,2.2,2.11,23.2)),|         (2,FModel(1,2.0,2.1,2.2)),|         (1,FModel(3,2.0,42.1,22.2)),|         (2,FModel(2,2.2,2.11,23.2)),|         (3,FModel(3,2.0,42.1,22.2))|       )|     )
sample_rdd: org.apache.spark.rdd.RDD[(Int, FModel)] = ParallelCollectionRDD[0] at makeRDD at <console>:26scala> val combinByKeyRDD = sample_rdd.combineByKeyWithClassTag(|       (x: FModel) => (List(x), 1),|       (peo: (List[FModel], Int), x: FModel) => (x :: peo._1, peo._2 + 1),|       (sex1: (List[FModel], Int), sex2: (List[FModel], Int)) => (sex1._1 ::: sex2._1, sex1._2 + sex2._2))
combinByKeyRDD: org.apache.spark.rdd.RDD[(Int, (List[FModel], Int))] = ShuffledRDD[1] at combineByKeyWithClassTag at <console>:28scala> combinByKeyRDD.foreach(println)
[Stage 0:>                                                         (0 + 0) / 12](3,(List(FModel(3,2.0,42.1,22.2)),1))
(2,(List(FModel(1,2.0,2.1,2.2), FModel(2,2.2,2.11,23.2)),2))
(1,(List(FModel(1,2.0,2.1,2.2), FModel(2,2.2,2.11,23.2), FModel(3,2.0,42.1,22.2)),3))scala>

转载于:https://www.cnblogs.com/yy3b2007com/p/8506552.html

spark2.1：rdd.combineByKeyWithClassTag的用法示例相关推荐

Go基础系列：双层channel用法示例
Go channel系列: channel入门为select设置超时时间 nil channel用法示例双层channel用法示例指定goroutine的执行顺序双层通道的解释见Go的双层通道 ...
objdump反汇编用法示例
objdump反汇编用法示例原文:http://blog.csdn.net/zoomdy/article/details/50563680 -d:将代码段反汇编 -S:将代码段反汇编的同时,将反汇编 ...
python 装饰器参数-python函数装饰器之带参数的函数和带参数的装饰器用法示例...
本文实例讲述了python函数装饰器之带参数的函数和带参数的装饰器用法.分享给大家供大家参考,具体如下: 1. 函数带多个参数 # 普通的装饰器, 打印函数的运行时间 def decrator(fun ...
php指定长度分割整形,php指定长度分割字符串str_split函数用法示例
本文实例讲述了php指定长度分割字符串str_split函数用法.分享给大家供大家参考,具体如下: 示例1:$str = 'abcdefgh'; $arr = str_split($str,2); 运 ...
Linux find 用法示例
Linux中find常见用法示例 ·find path -option [ -print ] [ -exec -ok command ] {} \; find命令的参数 ...
mysql教程or怎么用_MySQL中or语句用法示例
1.mysql中or语法的使用,在mysql语法中or使用注意点. 项目遇到坑,遍历发放奖励数据查询错误!!! $sql = 'SELECT * FROM `vvt_spread_doubleegg_ ...
html兄弟选择器怎么用,CSS的相邻兄弟选择器用法示例讲解
对于有相同父元素的相邻HTML元素查找便可以使用CSS的相邻兄弟选择器,这里我们就来看一下CSS的相邻兄弟选择器用法简单讲解: 可选择紧接在另一个元素后的元素,且二者有相同的父级元素下面代码中,it ...
boost::format模块format的基本用法示例
boost::format模块format的基本用法示例实现功能 C++实现代码实现功能 boost::format模块format的基本用法示例 C++实现代码 #include "b ...
boost::format模块format的高级用法示例
boost::format模块format的高级用法示例实现功能 C++实现代码实现功能 boost::format模块format的高级用法示例 C++实现代码 #include <ios ...

spark2.1：rdd.combineByKeyWithClassTag的用法示例

spark2.1：rdd.combineByKeyWithClassTag的用法示例相关推荐

最新文章

热门文章