SparkRDD算子--mapPartitionsWithIndex算子

语法

val newRdd = oldRdd.mapPartitionsWithIndex{case (num, datas) => {func}}

源码

def mapPartitionsWithIndex[U](f : scala.Function2[scala.Int, scala.Iterator[T], scala.Iterator[U]], preservesPartitioning : scala.Boolean = { /* compiled code */ })(implicit evidence$9 : scala.reflect.ClassTag[U]) : org.apache.spark.rdd.RDD[U] = { /* compiled code */ }

作用

类似于mapPartitions，但func带有一个整数参数表示分片的索引值，因此在类型为T的RDD上运行时，func的函数类型必须是(Int, Interator[T]) => Iterator[U]

例子

package com.day1import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}object oper {def main(args: Array[String]): Unit = {val config:SparkConf = new SparkConf().setMaster("local[*]").setAppName("wordCount")// 创建上下文对象val sc = new SparkContext(config)// mapPartitionsWithIndex算子val listRdd:RDD[Int] = sc.makeRDD(1 to 10,2)val tupleRdd: RDD[(Int, String)] = listRdd.mapPartitionsWithIndex {case (num, datas) => {datas.map((_, "分区号为:" + num))}}tupleRdd.collect().foreach(println)}
}输入：
1 2 3 4 5 6 7 8 9 10
输出：
(1,分区号为:0)
(2,分区号为:0)
(3,分区号为:0)
(4,分区号为:0)
(5,分区号为:0)
(6,分区号为:1)
(7,分区号为:1)
(8,分区号为:1)
(9,分区号为:1)
(10,分区号为:1)

示意图

SparkRDD算子--mapPartitionsWithIndex算子相关推荐

python图像锐化增强边缘_[Python图像处理]十一.图像锐化与边缘检测之Roberts算子、Prewitt算子、Sobel算子和Laplacian算子,Schar算子...
Roberts算子 Roberts算子即为交叉微分算法,它是基于交叉差分的梯度算法,通过局部差分计算检测边缘线条.常用来处理具有陡峭的第噪声图像,当图像边缘接近于正45度或负45度时,该算法处理效果更 ...
sobel算子拉普拉斯算子以及散度与梯度的概念
在ECBSR论文的代码研究中,我发现关于ECBSR提出的多分支重参数化模型中,代码用到了sobel算子与laplace算子,很难判断这两个算子是为了论文的创新点还是真的有用,这块只能等待后续的对比实验 ...
图像处理中的梯度、导数如何求?(Robert算子,Sobel算子,Prewitt算子,Laplace算子)
梯度的求法是多种多样的,根据不同的处理需要选择合适的算子(模版). 1.水平垂直差分法 2.Robert 梯度算子 3.Sobel算子垂直方向 ...
【OpenCV入门教程之十二】OpenCV边缘检测：Canny算子,Sobel算子,Laplace算子,Scharr滤波器合辑
本系列文章由@浅墨_毛星云出品,转载请注明出处. 文章链接: http://blog.csdn.net/poem_qianmo/article/details/25560901 作者:毛星云(浅墨) ...
一文解决Opencv四大经典算子——sobel算子、scharr算子、laplacian算子、canny算子
Opencv四大算子 Sobel算子 Scharr算子 laplacian算子 canny算子总结边缘是像素值发生跃迁的位置,是图像的显著特征之一,在图像特征提取,对象检测,模式识别等方面都有重要 ...
【OpenCV】32 图像梯度–更多梯度算子(rober算子、prewitt算子)
32 图像梯度–更多梯度算子(rober算子.prewitt算子) 代码 import cv2 as cv import numpy as npsrc = cv.imread("../ima ...
spark算子_Spark算子总结
一.RDD介绍 1.什么是RDD RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象.代码中是一个抽象类,它代表一个不可变.可分区 ...
log算子dog算子
背景引言在博文差分近似图像导数算子之Laplace算子中,我们提到Laplace算子对通过图像进行操作实现边缘检测的时,对离散点和噪声比较敏感.于是,首先对图像进行高斯暖卷积滤波进行降噪处理,再采用 ...
OpenCV-Python教程（6）（7）（8）： Sobel算子 Laplacian算子 Canny边缘检测
OpenCV-Python教程(6.Sobel算子) 本篇文章介绍如何用OpenCV-Python来使用Sobel算子. 提示: 转载请详细注明原作者及出处,谢谢! 本文介绍使用OpenCV-Pyth ...

SparkRDD算子--mapPartitionsWithIndex算子

语法

源码

作用

例子

示意图

SparkRDD算子--mapPartitionsWithIndex算子相关推荐

最新文章

热门文章