sortWith与sortBy

import org.apache.spark.{SparkConf, SparkContext}/*** 先分组， 后排序<br>* sorted:<br>* sortWith:<br>* sortBy:<br>*/
object GroupTopN {val conf = new SparkConf().setMaster("local").setAppName("RDDTest")val sc = new SparkContext(conf)def main(args: Array[String]): Unit = {testSortBy()sc.stop()}def testSorted() = {val rdd1 = sc.parallelize(List(("a", 1), ("a", 2), ("a", 3), ("a", 4), ("b", 5), ("b", 6), ("b", 7), ("b", 8)))//根据key分组并内部降序rdd1.groupByKey().mapValues(f => {//分组内部排序的两种方式f.toList.sorted.reverse//f.toList.sortWith(_>_)}).foreach(println)}def testSortWith() = {val rdd3 = sc.parallelize(List(("a", (1, 5)), ("a", (2, 4)), ("a", (3, 6)), ("a", (4, 1)),("b", (5, 2)), ("b", (6, 3)), ("b", (7, 9)), ("b", (8, 8))))rdd3.groupByKey().map(t => {val its = t._2val sortResult = its.toList.sortWith(_._2 > _._2).take(5)(t._1, sortResult)}).foreach(println)}def testSortBy() = {println("map === sortBy")val word = sc.parallelize(List(("a", (1, 5)), ("a", (2, 4)), ("a", (3, 6)), ("a", (4, 1)),("b", (5, 2)), ("b", (6, 3)), ("b", (7, 9)), ("b", (8, 8))))val group = word.groupByKey().map(t => {// reverse 降序val topItem = t._2.toArray.sortBy(_._2)(Ordering[Int].reverse)for (tp <- topItem) yield (t._1, tp)}).flatMap(t => for (tp <- t) yield tp).foreach(println)}
}

sortWith与sortBy相关推荐

scala的三个排序方法
sorted 对一个集合进行自然排序,通过传递隐式的Ordering 无需参数 def sorted[B >: A](implicit ord: Ordering[B]): Repr scala ...
Scala高阶函数操作示例详解
Scala 运算符和集合转换操作示例集锦一.常用操作符(操作符其实也是函数) ++ ++[B](that: GenTraversableOnce[B]): List[B] 从列表的尾部添加另外一个列 ...
scala sortBy and sortWith
sortBy: sortBy[B](f: (A) ⇒ B)(implicit ord: math.Ordering[B]): List[A] 按照应用函数f之后产生的元素进行排序 sorted: so ...
scala中 sorted，sortBy，sortWith语法使用
排序在scala集合中,可以使用以下几种方式来进行排序 sorted 默认排序 sortBy 指定字段排序 sortWith 自定义排序默认排序 sorted //示例:对列表进行升序排序 sca ...
scala中sorted,sortby,sortwith的用法（转）
scala中sorted,sortWith,sortBy用法详解 2017年07月23日 23:07:51 bitcarmanlee 阅读数:9249 版权声明:本文为博主原创文章,未经博主允许不得转 ...
【大数据开发】scala——tuple、list（含高阶方法）、wordcount案例、set、并行处理数据和sorted、sortBy、sortWith的区别
文章目录一.元组 1.1元组的定义.遍历 1.2元组的拉链.解链二.list 2.1空list.list初始化.list遍历3种方式 2.2list的追加.拼接操作 2.3list的基本操作 2. ...
Scala 排序函数 sorted sortBy sortWith
排序方法在实际的应用场景中非常常见,Scala里面有三种排序方法,分别是: sorted,sortBy ,sortWith 分别介绍下他们的功能: (1)sorted 对一个集合进行自然排序,通过传递 ...
Kotlin sortBy 、sortedBy、sortedWith、sortWith区别
源码 import kotlin.test.*fun main(args: Array<String>) {val list = mutableListOf("aaa" ...
scala中sortBy与sortWith区别
(1)Scala中sortBy是以方法的形式存在的,并且是作用在Array或List集合排序上,并且这个sortBy默认只能升序,除非实现隐式转换或调用reverse方法才能实现降序. (2)sort ...

sortWith与sortBy

sortWith与sortBy相关推荐

最新文章

热门文章