Spark行动算子(Action)--reduce算子

语法

Rdd. reduce(func)

源码

def reduce(f : scala.Function2[T, T, T]) : T = { /* compiled code */ }

作用

通过func函数聚集RDD中的所有元素，先聚合分区内数据，再聚合分区间数据。

例子

package com.day1import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}object oper {def main(args: Array[String]): Unit = {val config:SparkConf = new SparkConf().setMaster("local[*]").setAppName("wordCount")// 创建上下文对象val sc = new SparkContext(config)val rdd = sc.makeRDD(1 to 10,2)println(rdd.reduce(_+_))    // 55val rdd2 = sc.makeRDD(Array(("a",1),("b",3),("c",3),("d",5)))println(rdd2.reduce((x,y)=>(x._1 + y._1,x._2 + y._2)))  //("abcd",12)}
}输入
1 2 3 4 5
6 7 8 9 10
("a",1),("b",3),("c",3),("d",5)
输出
55
("abcd",12)

Spark行动算子(Action)--reduce算子相关推荐

spark算子_Spark常用算子
Spark的算子分类: 从大方向说,Spark算子大致可以分为以下两类: (1)Transformation变换/转换算子:这种变换并不触发提交作业,这种算子是延迟执行的,也就是说从一个RDD转换生成 ...
Spark Transformation转换算子和Action行动算子
1.Transformation转换算子 RDD整体上分为Value类型.双Value类型和Key-Value类型 1.1,Value类型 1.1.1,map()映射 object value01_m ...
2021年大数据Spark（十五）：Spark Core的RDD常用算子
目录常用算子基本算子分区操作函数算子重分区函数算子 1).增加分区函数 2).减少分区函数 3).调整分区函数聚合函数算子 Scala集合中的聚合函数 ...
Spark 常用算子详解（转换算子、行动算子、控制算子）
Spark简介 Spark是专为大规模数据处理而设计的快速通用的计算引擎: Spark拥有Hadoop MapReduce所具有的优点,但是运行速度却比MapReduce有很大的提升,特别是在数据挖掘 ...
spark之RDD的转换算子与行为算子的具体使用
文章目录 1.Transform算子 1.1 map 1.2 flatmap 1.3 groupBy和groupBykey 1.4 filter 1.5 Mappartitions 1.6 mapVa ...
Spark转换算子和执行算子
在Spark编程模式下,所有的操作被分为转换(transformation)和执行(action)两种. 一般来说,转换操作是对一个数据集里的所有记录执行某种函数,从而使记录发生改变;而执行通常是运行 ...
Spark性能调优-RDD算子调优篇
Spark性能调优-RDD算子调优篇 RDD算子调优 1. RDD复用在对RDD进行算子时,要避免相同的算子和计算逻辑之下对RDD进行重复的计算,如下图所示: 对上图中的RDD计算架构进行修改,得到 ...
Spark RDD编程模型及算子介绍（二）
文章目录常见的Action算子常见分区操作算子常见的Action算子 countByKey算子:统计Key出现的次数,部分代码如下: rdd_file = sc.textFile(". ...
spark中的转换算子和行动算子区别(transformations and actions)
算子(RDD Operations): 对于初学者来说,算子的概念比较抽象,算子可以直译为 "RDD的操作", 我们把它理解为RDD的方法即可 . 转换算子(transformat ...

Spark行动算子(Action)--reduce算子

语法

源码

作用

例子

Spark行动算子(Action)--reduce算子相关推荐

最新文章

热门文章