map flatmap mappartition flatMapToPair四种用法区别

原文链接：http://blog.csdn.net/u013086392/article/details/55666912

-----------------------------------------------------------------------------------

map:
我们可以看到数据的每一行在map之后产生了一个数组，那么rdd存储的是一个数组的集合

JavaRDD<String[]> mapresult=lines.map()

flatMap:
同map函数一样：对每一条输入进行指定的操作，然后为每一条输入返回一个对象
最后将所有对象合并为一个对象

 JavaRDD<String> objectJavaRDD = lines.flatMap()

mappartition:
rdd的mapPartitions是map的一个变种，它们都可进行分区的并行处理。两者的主要区别是调用的粒度不一样
map的输入变换函数是应用于RDD中每个元素，而mapPartitions的输入函数是应用于每个分区。也就是把每个分区中的内容作为整体来处理的。

 JavaRDD<String> objectJavaRDD = lines.mappartition()

flatMapToPair:
同map函数一样：对每一条输入进行指定的操作，然后为每一条输入返回一个key－value对象
最后将所有key－value对象合并为一个对象 Iterable

 JavaPairRDD<String,String> pair=lines.flatMapToPair()

map flatmap mappartition flatMapToPair四种用法区别相关推荐

Map集合遍历的四种方式理解和简单使用
Map集合遍历的四种方式理解和简单使用 ~Map集合是键值对形式存储值的,所以遍历Map集合无非就是获取键和值,根据实际需求,进行获取键和值 1:无非就是通过map.keySet()获取到值,然后根据 ...
mysql中模糊查询的四种用法介绍
下面介绍mysql中模糊查询的四种用法: 1,%:表示任意0个或多个字符.可匹配任意类型和长度的字符,有些情况下若是中文,请使用两个百分号(%%)表示. 比如 SELECT * FROM [user ...
三星note5 android版本区别吗,三星Note5哪种颜色好看？三星Note5四种颜色区别对比图解...
三星Note5有几种颜色?哪种颜色更好看呢?三星Note5是一款时下非常受欢迎的大屏旗舰手机,搭载Exynos 7422八核处理器,4GB超大内存,配备S Pen触控笔,支持指纹识别等特性,颇受消费者 ...
mysql 中模糊查询的四种用法介绍
下面介绍mysql中模糊查询的四种用法: 1,%:表示任意0个或多个字符.可匹配任意类型和长度的字符,有些情况下若是中文,请使用两个百分号(%%)表示. 比如 SELECT * FROM [user] ...
mysql中模糊查询的四种用法
转载自 https://www.cnblogs.com/songfayuan/articles/7290158.html 下面介绍mysql中模糊查询的四种用法: 1,%:表示任意0个或多个字符.可 ...
Java提高篇 —— Java关键字之static的四种用法
一.前言在java的关键字中,static和final是两个我们必须掌握的关键字.不同于其他关键字,他们都有多种用法,而且在一定环境下使用,可以提高程序的运行性能,优化程序的结构.下面我们先来了解一 ...
mysql 模糊查询用法_mysql进阶(六)模糊查询的四种用法介绍
mysql中模糊查询的四种用法介绍这篇文章主要介绍了mysql中模糊查询的四种用法,需要的朋友可以参考下. 下面介绍mysql中模糊查询的四种用法: 1 %: 表示任意0个或多个字符.可匹配任意类型 ...
php str_replice_详解PHP字符串替换str_replace()函数四种用法
下面通过本文给大家分享PHP字符串替换str_replace()函数4种用法,具体内容如下所示: mixed str_replace ( mixed $search , mixed $replace ...
【零基础学Java】—final关键字与四种用法（二十九）
[零基础学Java]-final关键字与四种用法(二十九) 一.final关键字 final关键字代表最终.不可改变的常见的四种用法: 可以用来修饰一个类可以用来修饰一个方法可以用来修饰一个局部 ...

map flatmap mappartition flatMapToPair四种用法区别

map flatmap mappartition flatMapToPair四种用法区别相关推荐

最新文章

热门文章