scala map与mapPartitions区别

map - 遍历元素并处理

定义

参数为函数,T 比如为Int,U比如为Double类型.
map函数整体的返回值可为任意类型(比如可以是Double等等,和参数f的返回值类型保持一致)

def map[U : ClassTag](f: T => U): RDD[U]

例子

scala> val rdd=sc.parallelize(Array(1,2,3,4,5,6,7),2)
//参数函数
scala> rdd.map(x=>x*2).collect
res100: Array[Int] = Array(2, 4, 6, 8, 10, 12, 14)
//简写
scala> rdd.map(_*2).collect
res99: Array[Int] = Array(2, 4, 6, 8, 10, 12, 14)
//遍历元素并处理,返回值类型未必与原有元素类型一样
scala> rdd.map(_*2.1).collect
res101: Array[Double] = Array(2.1, 4.2, 6.300000000000001, 8.4, 10.5, 12.600000000000001, 14.700000000000001)

mapPartitions

定义

参数为函数,且该函数参数类型为迭代器,返回值类型也为迭代器

def mapPartitions[U : ClassTag](f: Iterator[T] => Iterator[U], preservesPartitioning: Boolean = false): RDD[U]

例子

def main(args: Array[String]): Unit = {val conf = new SparkConf().setAppName("wordcount").setMaster("local")val sc = new SparkContext(conf)val rdd = sc.parallelize(Array(1, 2, 3, 4, 5, 6, 7), 2)rdd.mapPartitions(myfun).foreach(println)def myfun(iter: Iterator[Int]): Iterator[Int] = {var res = for (e <- iter) yield e * 2res}}// Array[Int] = Array(2, 4, 6, 8, 10, 12, 14)

其他例子

scala> val rdd=sc.parallelize(Array(1,2,3,4,5,6,7),2)
rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[145] at parallelize at <console>:24
//其中iter为Iterator类型,所以经过map处理后返回的也是Iterator类型
scala> rdd.mapPartitions(iter=>iter.map(_*2)).collect
res104: Array[Int] = Array(2, 4, 6, 8, 10, 12, 14)
//对迭代器应用filter方法返回的还是迭代器类型
scala> rdd.mapPartitions(iter=>iter.filter(_%2==0)).collect
res15: Array[Int] = Array(2, 4, 6)

mapPartitionsWithIndex

这个只是上面那个加了个分区号而已

def mapPartitionsWithIndex[U : ClassTag](f: (Int, Iterator[T]) => Iterator[U], preservesPartitioning: Boolean = false): RDD[U]

例子

scala> val rdd = sc.parallelize(Array(1, 2, 3, 4, 5, 6, 7), 2)
rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[5] at parallelize at <console>:24scala> rdd.mapPartitionsWithIndex((index,x)=>x.map(index+":"+_*2)).collect
res19: Array[String] = Array(0:2, 0:4, 0:6, 1:8, 1:10, 1:12, 1:14)

总结

能用 mapPartitions的地方都可以用map解决
两者的主要区别是调用的粒度不一样：map的输入变换函数是应用于RDD中每个元素，而mapPartitions的输入函数是应用于每个分区。
有些时候比如连接数据库时用mapPartitions比较好,因为每次连接开销很大,每个分区连一次比每调用一次连接一次要好.
mapPartitionsWithIndex跟mapPartitions差不多,参数多了个分区号而已

scala map与mapPartitions区别相关推荐

【收藏】spark中map与mapPartitions区别
两个函数最终处理得到的结果是一样的 mapPartitions比较适合需要分批处理数据的情况,比如将数据插入某个表,每批数据只需要开启一次数据库连接,大大减少了连接开支,伪代码如下: arrayRDD ...
尚硅谷大数据技术Spark教程-笔记02【SparkCore（核心编程，map、mapPartitions、mapPartitionsWithIndex、flatMap、glom、groupBy）】
视频地址:尚硅谷大数据Spark教程从入门到精通_哔哩哔哩_bilibili 尚硅谷大数据技术Spark教程-笔记01[Spark(概述.快速上手.运行环境.运行架构)] 尚硅谷大数据技术Spark教 ...
mapPartition方法与map方法的区别(转载)
根据[1] 算子作用 map 应用于RDD中每个元素 mapPartitions 应用于每个分区根据[2]mapPartitions更容易OOM 代码如下: //生成10个元素3个分区的rdd a ...
[react] props.children.map和js的map有什么区别？为什么优先选择react的？
[react] props.children.map和js的map有什么区别?为什么优先选择react的? React.Children.map 能够处理未知数据类型,即使 React.childre ...
Python reduce / map / filter 函数区别 - Python零基础入门教程
目录一.map 函数二.reduce 函数三.filter 函数四.猜你喜欢零基础 Python 学习路线推荐 : Python 学习目录 >> Python 基础入门 Pyth ...
scala中map添加值_如何在Scala Map中反转键和值
scala中map添加值 A Map is a data structure that stores data as key: value pair. 映射是一种将数据存储为键:值对的数据结构. Sy ...
Java 8 Stream Api 中的 peek、map、foreach区别
#1. 前言我在Java8 Stream中讲述了 Java 8 Stream API 的一些内容.今天再看一下peek.map.foreach区别. 2. peek peek 操作接收的是一个 Co ...
java中list，set，map集合的区别，及面试要点
Map集合:链接: Map集合的五种遍历方式及Treemap方法 Set集合:链接: Java中遍历Set集合的三种方法 TreeSet集合:链接: Java深入了解TreeSet,和迭代器遍历方法 ...
Java中Set Map List 的区别
java中set map list的区别: 都是集合接口简要说明 set --其中的值不允许重复,无序的数据结构 list --其中的值允许重复,因为其为有序的数据结构 map--成对的数据结构 ...

scala map与mapPartitions区别

map - 遍历元素并处理

mapPartitions

mapPartitionsWithIndex

总结

scala map与mapPartitions区别相关推荐

最新文章

热门文章