spark中用println输出一些控制信息

部分代码如下:

 def main(args: Array[String]): Unit = {Logger.getLogger("org").setLevel(Level.OFF)Logger.getLogger("akka").setLevel(Level.OFF)Logger.getRootLogger().setLevel(Level.ERROR) //这里是用来抑制一大堆log信息的.   val spark = SparkSession.builder.appName("Intro").config("spark.master", "local").getOrCreate();spark.sparkContext.setLogLevel("ERROR")val hadoopConf = spark.sparkContext.hadoopConfigurationhadoopConf.set("fs.hdfs.impl", classOf[org.apache.hadoop.hdfs.DistributedFileSystem].getName)hadoopConf.set("fs.file.impl", classOf[org.apache.hadoop.fs.LocalFileSystem].getName)import spark.implicits._val rdd= spark.sparkContext.parallelize(List("------------先大致看下数据-----------------"))rdd.collect().foreach(println)

就是上面代码的最后两句,这两句就可以像一般print语句一样来使用了.

注意,直接println是会被spark忽略的,并不会输出到控制台上面

spark中用println输出一些控制信息相关推荐

上行ofdm 信号生成_在lte-a中用信号发送上行链路控制信息的制作方法
在lte-a中用信号发送上行链路控制信息的制作方法 [专利说明]在LTE-A中用信号发送上行链路控制信息 [0001] 本申请是申请日为2010年06月18日.申请号为201080035916.0.名 ...
深度强化学习制作森林冰火人游戏AI（三）向游戏输出键盘控制信息
概述本文讲如何通过python发送键盘控制命令控制游戏前篇:深度强化学习制作森林冰火人游戏AI(二)获取游戏屏幕后篇:深度强化学习制作森林冰火人游戏AI(四)获取窗口部分界面获取窗口句柄窗口 ...
Local模式下Spark程序只输出关键信息
使用spark-submit提交local任务时,会输出很多Info信息: ------------------------------------------- Time: 149578863300 ...
计算机硬件结构控制信息,计算机硬件的基本结构
在当前的信息社会中,计算机扮演着非常重要的角色. 以下是Baifen编辑器汇编的计算机硬件基本结构的内容. 欢迎阅读! 电子数字计算机首先作为一种计算工具出现. 不难想象,如果计算机能够在没有人工干预 ...
php output详解,PHP输出缓冲控制Output Control系列函数详解，output函数详解
PHP输出缓冲控制Output Control系列函数详解,output函数详解概述以前研究过PHP的输入输出缓冲,不过博客搬家以后,原来文章找不到了,今天看到一篇好文,顺便转载过来. 简介说到 ...
数据结构2.带控制信息的链表
引言在上一篇博客数据结构1.单链表中,我们对链表相对数组的优缺点进行了比较. 而且,我们发现,链表是一种物理存储单元上非连续.非顺序的存储结构,所以,数据元素的逻辑顺序是通过链表中的指针链接次序实现 ...
使用Eclipse创建Java应用程序，实现从控制台输出多行信息：姓名、年龄、爱好
使用Eclipse创建Java应用程序,实现从控制台输出多行信息:姓名.年龄.爱好. package com.whx.demo; import java.util.Scanner; public cl ...
【JY】YJK前处理参数详解及常见问题分析：控制信息（二）
点击蓝字求求关注 [写在前文] 本文介绍计算控制信息之控制信息. [计算信息参数详解] 一.控制信息 A区参数详解 1.水平力与整体坐标夹角该参数为地震作用.风荷载计算时的X正向与结构整体坐标系 ...
让javac在中文系统上输出英文的信息
刚才有同事说在中文Windows上用maven-compiler-plugin出错了,因为用javac编译时输出的警告信息里有中文,而maven-compiler-plugin插件只能识别英文结果就错 ...

spark中用println输出一些控制信息

spark中用println输出一些控制信息相关推荐

最新文章

热门文章