[Spark]如何设置使得spark程序不输出 INFO级别的内容

Spark程序在运行的时候，总是输出很多INFO级别内容

查看了网上的一些文章，进行了试验。

发现在 /etc/spark/conf 目录下，有一个 log4j.properties.template

$cp log4j.properties.template log4j.properties

然后，修改下面的这一个行：
log4j.rootCategory=INFO, console

改成：
log4j.rootCategory=ERROR, console

再次运行时，不再出现大量的INFO 信息了。

转载于:https://www.cnblogs.com/gaojian/p/7749467.html

[Spark]如何设置使得spark程序不输出 INFO级别的内容相关推荐

启动Spark Shell,在Spark Shell中编写WordCount程序，在IDEA中编写WordCount的Maven程序，spark-submit使用spark的jar来做单词统计
1.启动Spark Shell spark-shell是Spark自带的交互式Shell程序,方便用户进行交互式编程,用户可以在该命令行下用scala编写spark程序.要注意的是要启动Spark-S ...
《循序渐进学Spark》一1.6　使用Spark Shell开发运行Spark程序
本节书摘来自华章出版社<循序渐进学Spark>一书中的第1章,第1.6节,作者小象学院杨磊,更多章节内容可以访问云栖社区"华章计算机"公众号查看. 1.6 使用S ...
spark学习11（Wordcount程序-本地测试）
wordcount程序文件wordcount.txt hello wujiadong hello spark hello hadoop hello python 程序示例 package wujia ...
使用Spark Shell开发运行Spark程序
使用Spark Shell开发运行Spark程序 Spark Shell是一种学习API的简单途径,也是分析数据集交互的有力工具. 虽然本章还没涉及Spark的具体技术细节,但从总体上说, Spark ...
spark任务优先级设置：spark.yarn.priority
Spark对于Yarn priority的支持源码详解 Yarn的调度器在Yarn中,提供了Capacity scheduler和Fair scheduler,它们都支持priority的.这里我们 ...
c语言if else语句_查找C程序的输出（如果为else语句）| 设置1
c语言if else语句 Find the output of the following programs, 查找以下程序的输出, Program 1) 程序1) #include <stdi ...
Spark学习之第一个程序打包、提交任务到集群
1.免秘钥登录配置: ssh-keygen cd .ssh touch authorized_keys cat id_rsa.pub > authorized_keys chmod 600 au ...
[Kafka与Spark集成系列三] Spark编程模型
欢迎支持笔者新作:<深入理解Kafka:核心设计与实践原理>和<RabbitMQ实战指南>,同时欢迎关注笔者的微信公众号:朱小厮的博客. 欢迎跳转到本文的原文链接:https: ...
【spark系列3】spark开发简单指南
分布式数据集创建之textFile 文本文件的RDDs能够通过SparkContext的textFile方法创建,该方法接受文件的URI地址(或者机器上的文件本地路径,或者一个hdfs://, sdn ...
第10章 Spark（全面解读Spark架构体系）
概述 Spark简介 Spark诞生于2009年美国加州伯克利分校的AMP实验室,基于内存计算的大数据并行计算框架,可用于构建大型的.低延迟的数据分析应用程序. Spark最初的设计目标是使数据分析更 ...

[Spark]如何设置使得spark程序不输出 INFO级别的内容

[Spark]如何设置使得spark程序不输出 INFO级别的内容相关推荐

最新文章

热门文章