scala Ordering

scala.math.Ordering

自定义排序方法。

例：(col : Int, row : Int, Value : Double )是一个Tuple3。排序默认按第一项作为Key。

Ordering.by[(Int,Int,Double),Int](_._2)表示从Tuple3转到Int型。后面为转换函数。此句表示按此Tuple3中第二个元素进行排序。

Ordering.by[T,U]( f(T) => U ).为此方法声明原型。

文档中声明为：def by[T, S](f: (T) ⇒ S)(implicit ord: Ordering[S]): Ordering[T]

提供自定义类型转换函数入口，可自定义Tuple排序、对象排序、以及转换不同类型间排序。但一般情况下，排序规则要符合常识。最好不要出现类似1>2的排序规则，以免引起误解和产生不必要的错误。

spark RDD 中，有max方法。默认按第一元素为key。

声明为：def max()(implicit ord: Ordering[T]): T。

max方法本身没有参数！写成rdd.max(ord),编译无法通过。正确写法rdd.max()(ord)。

返回类型为rdd中元素的类型。如需其中部分数据，不要忘记再进行相应处理。

eg.

val rows = data.max()(Ordering.by[(Int,Int,Double),Int](_._2))._2.toInt

获取data（RDD）中元素的第二项中最大值。

简记之。

转载于:https://www.cnblogs.com/suanec/p/4999805.html

scala Ordering相关推荐

人工智能算法之梯度下降法、协同过滤、相似度技术、ALS算法（附案例分析）、模型存储与加载、推荐系统的冷启动问题
梯度下降法求解机器学习算法的模型参数,即无约束优化问题时,梯度下降法是最常采用的方法之一,另一种常用的方法是最小二乘法.这里对梯度下降法做简要介绍. 最小二乘法法适用于模型方程存在解析解的情况.如果 ...
Spark RDD常用算子使用总结
文章目录概述 Transformation(转换算子) 1. map 2. flatMap 3. filter 4. mapPartitions 5. mapPartitionsWithIndex ...
Scala比较器：Ordered与Ordering
在项目中,我们常常会遇到排序(或比较)需求,比如:对一个Person类 case class Person(name: String, age: Int) {override def toString ...
scala 排序接口Ordering
Ordering 特质入门简介排序是一种trait,其每个实例代表一种对类型实例进行排序的策略. trait Ordering[T] extends Comparator[T] with Parti ...
scala排序——ordering vs ordered
在最近探索scala的过程中,发现一个比较重要的问题,那就是排序,排序在业务代码中还是很常见的,最常用的排序就是对集合调用sorted[B >: A](implicit ord: Orderin ...
Scala 集合入门
1. 数组 1.1 定长数组 scala.Array 是定长的可变的索引型集合, JVM 中, Scala 的 Array 是以 Java 数组方式实现. String 对应 java.lang.St ...
Scala’s parallel collections
2019独角兽企业重金招聘Python工程师标准>>> Scala 2.9 introduced parallel collections, which mirror most of ...
Scala：Enumeration
2019独角兽企业重金招聘Python工程师标准>>> Scala:Enumeration scala的枚举的声明,与Java中声明有很大区别,Scala的枚举值有些特殊,它的关键是 ...
Scala堆的方式进行Spark topK词频查询（根据value进行TreeMap排序）
本文来自:http://blog.csdn.net/liangyihuai/article/details/54925737 本文使用了两种方法进行spark 的top k词频查询,第一种方法在很多博 ...

scala Ordering

scala Ordering相关推荐

最新文章

热门文章