Spark核心之top、take和takeOrdered

top、take和takeOrdered三种算子都是Spark中的Action操作，当原始数据集太大时，可以采用上述三个算子展示数据，下面分别介绍三个算子：

（1）takeOrdered算子

takeOrdered(num: Int)(implicit ord: Ordering[T]): Array[T]

关于top算子在源码中的解释如下：

 /*** Returns the first k (smallest) elements from this RDD as defined by the specified* implicit Ordering[T] and maintains the ordering. This does the opposite of [[top]].* For example:* {{{*   sc.parallelize(Seq(10, 4, 2, 12, 3)).takeOrdered(1)*   // returns Array(2)**   sc.parallelize(Seq(2, 3, 4, 5, 6)).takeOrdered(2)*   // returns Array(2, 3)* }}}**/

该算子返回RDD中最小的k个元素，其中排序规则用户可以自定义ord。

（2）top算子

top(num: Int)(implicit ord: Ordering[T]): Array[T]

top算子是与takeOrdered算子的相反的操作，该算子返回RDD中的最大的k个元素

查看top源码可以知道，top方法本身是调用了takeOrdered：

 def top(num: Int)(implicit ord: Ordering[T]): Array[T] = withScope {takeOrdered(num)(ord.reverse)}

（3）take算子

take(num: Int): Array[T]

take算子获取RDD中的前num个元素。

/*** Take the first num elements of the RDD. It works by first scanning one partition, and use the* results from that partition to estimate the number of additional partitions needed to satisfy* the limit.*/

---------------------------------------------------------------------------个人实践中遇到的问题----------------------------------------

之所以写这篇博客，是因为自己在使用top和take的过程中遇到了一点问题：

 val reduceRdd: RDD[(String, Double)] = mapRdd.reduceByKey(_+_)val sortRdd: RDD[(String, Double)] = reduceRdd.sortBy(_._2,false)val result: Array[(String, Double)] = sortRdd.take(10)

在上述代码中，我是想获得排序后的前10个元素（即Value最大的前10个元素），使用take即可获得答案；我一开始使用的是top(10)，但返回的结果是按照Key排序取出的前10个，应该是默认按照key排序。

Spark核心之top、take和takeOrdered相关推荐

《深入理解Spark:核心思想与源码分析》——1.2节Spark初体验
本节书摘来自华章社区<深入理解Spark:核心思想与源码分析>一书中的第1章,第1.2节Spark初体验,作者耿嘉安,更多章节内容可以访问云栖社区"华章社区"公众号查看 ...
《深入理解Spark:核心思想与源码分析》——第1章环境准备
本节书摘来自华章社区<深入理解Spark:核心思想与源码分析>一书中的第1章环境准备,作者耿嘉安,更多章节内容可以访问云栖社区"华章社区"公众号查看第1章环境准 ...
《深入理解Spark:核心思想与源码分析》——3.10节创建和启动ExecutorAllocationManager...
本节书摘来自华章社区<深入理解Spark:核心思想与源码分析>一书中的第3章,第3.10节创建和启动ExecutorAllocationManager,作者耿嘉安,更多章节内容可以访问云栖 ...
Spark学习之路---Spark核心概念
Spark核心概念简介一个Spark应用都由驱动器程序发起集群上的各种并发操作,一个驱动器程序一般包含多个执行器节点,驱动器程序通过一个SaprkContext对象访问saprk.RDD(弹性分布式 ...
Spark核心RDD详述
Spark核心RDD Spark的核心: RDD特性: RDD的关键特征: RDD创建方式温馨提示:工作中已经很少使用RDD,一般直接使用df Spark的核心: Spark任务来说,最终的目标是A ...
《深入理解Spark:核心思想与源码分析》——1.3节阅读环境准备
本节书摘来自华章社区<深入理解Spark:核心思想与源码分析>一书中的第1章,第1.3节阅读环境准备,作者耿嘉安,更多章节内容可以访问云栖社区"华章社区"公众号查看 1 ...
PySpark | Spark3新特性 | Spark核心概念
文章目录一.Spark Shuffle 1. HashShuffleManager 2. SortShuffleManager 3. 总结二.Spark3.0新特性 1. Adaptive Que ...
Spark核心开发者：性能超Hadoop百倍，算法实现仅有其1/10或1/100
Spark核心开发者:性能超Hadoop百倍,算法实现仅有其1/10或1/100 发表于 2013-04-26 13:42| 113488次阅读| 来源 CSDN| 449 条评论| 作者王鹏 ...
【大数据入门核心技术-Spark】（二）Spark核心模块
目录一.Spark核心模块 1.SparkCore 2.Spark SQL 3.Spark Streaming 4.Spark MLlib 5.资源调度器(Cluster Manager)
Spark核心编程系列(一)——RDD详解
目录 Spark核心编程系列--RDD详解(一) RDD概念 RDD与IO之间的关系 RDD的核心属性 RDD执行原理基础编程 RDD创建 RDD的并行度与分区参考 Spark核心编程系列--RD ...

Spark核心之top、take和takeOrdered

Spark核心之top、take和takeOrdered相关推荐

最新文章

热门文章