Scala中的aggregate方法

这个函数还是比较有意思的，在spark中也会常常用到

一、首先举一个计算字符串内字符出现次数的例子：

//统计字母出现的频率映射
def strfreq(str:String):mutable.Map[Char,Int]={val strlist=str.toList//strlist.aggregate()val countsMap=strlist.aggregate(mutable.Map[Char,Int]())((agg:mutable.Map[Char,Int], char)=>{if(!agg.contains(char)){agg.put(char,1)}else{agg.put(char,agg(char)+1)}agg},(agg1:mutable.Map[Char,Int],agg2:mutable.Map[Char,Int])=> {//由于这里没有分区，则此处并没有执行此方法for((word,count)<-agg1){if(!agg2.contains(word)){agg2.put(word,1)}else{agg2.put(word,agg2(word)+count)}}agg2})countsMap
}

测试：

val str="hgjhdg"
println(strfreq(str))

测试结果截图：

然后来深入解析一下这个aggregate函数

https://www.jianshu.com/p/e0fd975055b3

二、对aggregate的理解

1.先来看官方API

https://www.scala-lang.org/api/2.12.10/

aggregate方法（2.13.0后已被其他函数替换，但是作用类似）：

函数形式：

函数内容：

2.大致描述：

该方法对子集合（元素）进行聚合运算，此方法类似于foldLeft，它不要求返回值必须是元素类型的超类（并不要求返回值类型与接受值类型一致），此外，aggregate方法将集合分片（split），它可以对多个被分割的集合并行操作（对分块的集合进行操作：seqop）【最少对一个元素进行操作】，并最后组合（combop）起来【最少0次组合操作】。

3.参数详解：

(1)可以看到主要有五个参数：B , z , seqop ，A , combop

①B：集合类型

②z：作为积累的初始值，指在z的基础上执行后面的函数操作，其类型应该和函数返回值的类型相同

③seqop：定义在一个部分（partition）内对元素的操作【相当于一个表达式】，并返回该部分的计算结果（results）

④A：表示要执行aggregate函数的集合的元素，在seqop方法体内一一执行对应操作

⑤combop：该运算符用于合并来自不同分区的结果，并最终返回想要的聚合结果

(2)对API给出的例子进行解释

首先是传入集合为['a','b','c']，返回的值为'a'、'b'、'c'三个字符（列表内字符串）转化为int类型后的整型值的和

详细如图：

三、看看被替换成foldLeft(z)(seqop)怎么使用

可以看最新的2.13.1版本的API

https://www.scala-lang.org/api/2.13.1/

其中参数表示的内容说的很明白了，表面上看在这里其实就是将前面的aggregate的seqop以前的部分保留下来，combop部分去除了，现在还没有学习spark，不知道这个改动对并发计算有什么影响，是否真的可以使用这个函数完全代替aggregate，等学习spark后，再来补上这个困惑。

scala方法—aggregate相关推荐

scala 方法重载_Scala中的方法重载
scala 方法重载 Scala方法重载 (Scala method overloading) Method overloading is a method that is redefined in ...
scala方法中的变量_Scala中的变量
scala方法中的变量 Scala变量 (Scala variables) A variable is named a reference to a memory location. The loca ...
scala 方法调用_Scala中的方法调用
scala 方法调用 Scala方法调用 (Scala Method Invocation) Method invocation is the legal and correct technique ...
scala方法中的变量_Scala变量，变量范围，字段变量，方法参数示例
scala方法中的变量 Variables can be defined as the reserve space in memory to store the assigned values. Ba ...
Scala 方法与函数
Scala 有方法与函数,二者在语义上的区别很小.Scala 方法是类的一部分,而函数是一个对象可以赋值给一个变量.换句话来说在类中定义的函数即是方法. Scala 中的方法跟 Java 的类似,方法 ...
scala方法定义示例
方法方法的表现和行为和函数非常类似,但是它们之间有一些关键的差别. 方法由def关键字定义.def后面跟着一个名字.参数列表.返回类型和方法体. def add(x: Int, y: Int): I ...
Scala方法定义，方法和函数的区别，将方法转换成函数
1．定义方法和函数 1.1．定义方法方法的返回值类型可以不写,编译器可以自动推断出来,但是对于递归函数,必须指定返回类型 1.2．定义函数 1.3．方法和函数的区别在函数式编程语言中,函数是 ...
scala 方法、函数定义小结
2019独角兽企业重金招聘Python工程师标准>>> package scalapackage.testmethod/*** Created by Germmy on 2018/4 ...
Scala 方法参数列表是val 不可修改

scala方法—aggregate

Scala中的aggregate方法

一、首先举一个计算字符串内字符出现次数的例子：

二、对aggregate的理解

三、看看被替换成foldLeft(z)(seqop)怎么使用

scala方法—aggregate相关推荐

最新文章

热门文章