spark的foreach(println)看不到输出结果

spark-shell --master yarn启动后，

代码如下:

scala> var rdd1=sc.makeRDD(1 to 4,2)

scala> rdd1.foreach{x=>println(x+4)}

scala> var rdd2=sc.makeRDD(1 to 12,3)

scala> rdd2.foreachPartition{x=>println("--------------")}

scala> rdd2.foreachPartition{x=>println(x.size)}

在交互式界面我们看不到任何结果，那么结果在哪里呢？

打开spark的web UI

master:8088

然后选择右下方的两个stdout

因为是spark on yarn

所以当你点击stdout的时候，连接会跳转回yarn界面。

可以看到，两台机子的结果是:

5 6 7 8

和 4 4 4 4

spark的foreach(println)看不到输出结果相关推荐

spark中的println失效问题解决
我们知道, spark中的println会被控制台忽略. 代码如下: import org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSessio ...
2019最新spark面试题，看了它，你还怕找不到工作吗？
[导读]本篇文章为大家带来spark面试指南,文内会有两种题型,问答题和代码题,题目大部分来自于网络上,有小部分是来自于工作中的总结,每个题目会给出一个参考答案. 为什么考察Spark? Spark作 ...
java println 数组_java 数组输出
那就把两个for循环的顺序改动一下,把条件也改一下就好.System.out.println("--------------------------武侠小说列表--------------- ...
Android学习笔记07---查看Android虚拟机输出的错误信息与如何部署应用到自己的真实手机
Android学习笔记07---查看Android虚拟机输出的错误信息
println（）函数输出int类型返回值错误的问题
out.println(); 在用这个语句输出其他类返回大的int类型的数据的时候,注意输出错误. 例如: out.println(class1.方法()): 导致错误: our.println(c ...
Java8 通过foreach 遍历List，同时输出下标
定义lambada式工具类: import java.util.function.BiConsumer; import java.util.function.Consumer;public class ...
System.out.println 在idea控制台输出的中文乱码问题
-Ddefault.client.encoding=UTF-8 -Dfile.encoding=UTF-8
在xcode上看不到输出： stepping may behave oddly; variables may not be available
https://blog.csdn.net/yuanya/article/details/54916422
spark中各类key算子的用法汇总(持续更新中)
启动方式: spark-shell --master yarn 依赖导入: import org.apache.spark.{SparkConf, SparkContext} 输出rdd的类型举例: ...

spark的foreach(println)看不到输出结果

spark的foreach(println)看不到输出结果相关推荐

最新文章

热门文章