Local模式下Spark程序只输出关键信息

使用spark-submit提交local任务时，会输出很多Info信息：

-------------------------------------------
Time: 1495788633000 ms
-------------------------------------------17/05/26 08:50:33 INFO scheduler.JobScheduler: Finished job streaming job 1495788633000 ms.2 from job set of time 1495788633000 ms
17/05/26 08:50:33 INFO scheduler.JobScheduler: Total delay: 0.054 s for time 1495788633000 ms (execution: 0.046 s)
17/05/26 08:50:33 INFO rdd.MapPartitionsRDD: Removing RDD 177 from persistence list
17/05/26 08:50:33 INFO storage.BlockManager: Removing RDD 177
17/05/26 08:50:33 INFO rdd.MapPartitionsRDD: Removing RDD 176 from persistence list
17/05/26 08:50:33 INFO storage.BlockManager: Removing RDD 176
17/05/26 08:50:33 INFO rdd.BlockRDD: Removing RDD 175 from persistence list
17/05/26 08:50:33 INFO dstream.SocketInputDStream: Removing blocks of RDD BlockRDD[175] at socketTextStream at CoGroupTest.scala:21 of time 1495788633000 ms
17/05/26 08:50:33 INFO storage.BlockManager: Removing RDD 175
17/05/26 08:50:33 INFO rdd.MapPartitionsRDD: Removing RDD 178 from persistence list
17/05/26 08:50:33 INFO storage.BlockManager: Removing RDD 178
17/05/26 08:50:33 INFO rdd.MapPartitionsRDD: Removing RDD 180 from persistence list
17/05/26 08:50:33 INFO storage.BlockManager: Removing RDD 180
17/05/26 08:50:33 INFO scheduler.ReceivedBlockTracker: Deleting batches: 1495788631000 ms
17/05/26 08:50:33 INFO scheduler.InputInfoTracker: remove old batch metadata: 1495788631000 ms
17/05/26 08:50:34 INFO scheduler.JobScheduler: Added jobs for time 1495788634000 ms
17/05/26 08:50:34 INFO scheduler.JobScheduler: Starting job streaming job 1495788634000 ms.0 from job set of time 1495788634000 ms

可以修改log4j的日志级别，只输出关键信息：

1.修改$SPARK_HOME/conf/log4j.properties

如果有log4j.properties.template，则复制一份为log4j.properties

cp log4j.properties.template log4j.properties

2.修改第一行

log4j.rootCategory=INFO, console

为

log4j.rootCategory=ERROR, console

3.再次提交任务，只会输出关键信息：

-------------------------------------------
Time: 1495788788000 ms
-------------------------------------------
(helloworld,helloworld_one)
(hello,hello_one)
(join,join_one)

转载于:https://www.cnblogs.com/liugh/p/6909531.html

Local模式下Spark程序只输出关键信息相关推荐

oracle 与 client端执行结果不一致_不同模式下Spark应用的执行过程
根据应用执行的3个阶段,不同执行模式下各个阶段的执行逻辑不相同,本文分析不同模式下的执行逻辑. Yarn-Client模式的执行流程 Yarn的组成 Yarn是hadoop自带的资源管理框架,它的设计 ...
Windbg下无法显示dbgPrint输出的信息
Windbg下无法显示dbgPrint输出的信息 http://blog.csdn.net/happy987818/article/details/50516236 刚开始使用Windbg进行内核驱动 ...
编写一个C程序，输出以下信息： ************************** Very Good!**************************
题目编写一个C程序,输出以下信息: ************************** Very Good!************************** 数*号可看出,Very前面9空格, ...
习题 1.5 请参照本章例题，编写一个C程序，输出以下信息：*****Very good！*****
习题1.5 请参照本章例题,编写一个C程序,输出以下信息: * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * Very good! ...
在local模式下的spark程序打包到集群上运行
一.前期准备前期的环境准备,在Linux系统下要有Hadoop系统,spark伪分布式或者分布式,具体的教程可以查阅我的这两篇博客: Hadoop2.0伪分布式平台环境搭建 Spark2.4.0伪分 ...
【微信小程序系列：五】小程序适老化自动适配工具miniprogram-elder-transform---微信老年关怀模式下小程序字体适配微信字体
1.先言这个工具我网上基本找不到任何一篇文章说这个miniprogram-elder-transform的使用的,==,既然没有,那咱就自己写第一篇~ Android字体大小标准默认16px,iOS ...
第一个java程序（输出个人信息）
前言: 开始了java的学习,虽然有着C++与C语言的基础,但是java的语法部分还是让我头疼啊,看来代码只有多写多练才会有着提高. 输出个人信息的代码: 自己创建包之后,在包里面创建类,输入代码即可 ...
Linux终端模式下查看电脑的硬件配置信息小技巧
原文地址:http://os.51cto.com/art/200803/67281.htm 在图形模式下我们可以很方便的利用Linux的图形工具,点击几下就可以查看到Linux系统的的硬件信息.但是大 ...
牛客网笔试系统ACM模式下的程序输入格式总结
Java提供两种方式进行键盘的输入, BufferedReader 和 Scanner 一.用BufferedReader进行输入提供的方法有: readLine(); // 以enter为结束标志 ...

Local模式下Spark程序只输出关键信息

Local模式下Spark程序只输出关键信息相关推荐

最新文章

热门文章