spark rdd map java_Spark map 遍历rdd中的每个元素

Map操作主要是遍历rdd中的每个元素，对每个元素进行操作并返回，代码如下：

public static void myMap(){

List numbers=Arrays.asList(1,2,3,4,5);

SparkConf conf=new SparkConf()

.setMaster("local")

.setAppName("myMap");

JavaSparkContext sc=new JavaSparkContext(conf);

JavaRDD numberRdd= sc.parallelize(numbers);

//第一个参数表示输入的值，第二个参数表示输出的值

JavaRDD numMapRdd=numberRdd.map(new Function(){

private static final long serialVersionUID = 1L;

@Override

public Integer call(Integer num) throws Exception {

// TODO Auto-generated method stub

return num+2;

}

});

numMapRdd.foreach(new VoidFunction(){

@Override

public void call(Integer num) throws Exception {

// TODO Auto-generated method stub

System.out.println("numbers;"+num);

}

});

}

结果：

umbers;3 numbers;4 numbers;5 numbers;6 numbers;7

spark rdd map java_Spark map 遍历rdd中的每个元素相关推荐

java中map如何实现遍历_Java中如何遍历Map对象的4种方法
在Java中如何遍历Map对象 How to Iterate Over a Map in Java 在java中遍历Map有不少的方法.我们看一下最常用的方法及其优缺点. 既然java中的所有map都 ...
python 遍历列表中的每个元素 for循环 while循环迭代器
''' 1)while循环遍历,得到列表中每一个元素 ''' list1=[1,2,5,6,9] i=0 #i是下标 while i<len(list1):print(list1[i])i+=1 ...
Spark 杂记--- 键值对操作RDD
1. 将一个普通的RDD转换为键值对RDD时,可以通过调用map()函数来实现,传递的函数需要返回键值对. scala 版: scala> val lines =sc.parallelize ...
优雅的找出ArrayList中重复的元素
前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家.点击跳转到教程. 方法1 代码: public class Main { public static void mai ...
Java遍历Properties的所有的元素，四种方法详细总结的代码实例
使用Java代码,详细示范四种遍历Properties中的所有元素,并打印输出的代码实例. 直接看代码吧.具体怎么读的文件,我在这就省略啦.我的前一篇文章就是示范怎么读和写Properties文件的. ...
Spark RDD API：Map和Reduce
参考文章: http://blog.csdn.net/jewes/article/details/39896301 http://homepage.cs.latrobe.edu.au/zhe/Zhen ...
rdd算子之map相关
首先是RDD算子中与map有关的几个算子的理解. rdd算子之map相关 map mapPartitions mapPartitionsWithIndex map map其实就是一种数据结构的映射,将 ...
spark源码解读3之RDD中top源码解读
更多代码请见:https://github.com/xubo245/SparkLearning spark源码解读系列环境:spark-2.0.1 (20161103github下载版) 1.理解输 ...
java中map怎么遍历,Java中怎么遍历Map的所有的元素
Java中怎样遍历Map的所有的元素 JDK1.4中 view plaincopy to clipboardprint? Map map = new HashMap(); Iterator it = ...

spark rdd map java_Spark map 遍历rdd中的每个元素

spark rdd map java_Spark map 遍历rdd中的每个元素相关推荐

最新文章

热门文章