【spark】本地开发关闭日志打印

文章目录

前言
1.新建log4j.properties

前言

1.txt

hello world

def main(args: Array[String]): Unit = {val spark = SparkSession.builder.master("local").appName("wordCount").getOrCreate()val value = spark.sparkContext.textFile("data/wordcount/1.txt").flatMap(w => w.split(" ")).map((_, 1)).reduceByKey(_ + _);value.collect.foreach(println);}

执行时，很多日志打印，很乱，这些日志一般不需要看的。想要寻找想要的信息，翻来翻去翻半天。

接下来关闭这些日志的打印

1.新建log4j.properties

在resource目录下新建log4j.properties文件。
代码如下（填写）：

log4j.rootCategory=ERROR, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd
HH:mm:ss} %p %c{1}: %m%n
# Set the default spark-shell log level to ERROR. When running the spark-shell,
the
# log level for this class is used to overwrite the root logger's log level, so
that
# the user can have different defaults for the shell and regular Spark apps.
log4j.logger.org.apache.spark.repl.Main=ERROR
# Settings to quiet third party logs that are too verbose
log4j.logger.org.spark_project.jetty=ERROR
log4j.logger.org.spark_project.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=ERROR
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=ERROR
log4j.logger.org.apache.parquet=ERROR
log4j.logger.parquet=ERROR
# SPARK-9183: Settings to avoid annoying messages when looking up nonexistent
UDFs in SparkSQL with Hive support
log4j.logger.org.apache.hadoop.hive.metastore.RetryingHMSHandler=FATAL
log4j.logger.org.apache.hadoop.hive.ql.exec.FunctionRegistry=ERROR

注意目录位置，目录错了就没作用了。

新建完成之后，再次请求，如下：

【spark】本地开发关闭日志打印相关推荐

jboss7 关闭日志打印_使用自定义日志记录处理程序在JBoss AS 7中跟踪SQL语句
jboss7 关闭日志打印使用ORM从您的特定数据库中提取数据并让其创建和发布您必须亲自编写的所有SQL语句似乎很方便. 这就是使ORM解决方案受欢迎的原因. 但是它也有一个缺点:由于ORM为您做了 ...
NDK开发之日志打印
要在NDK中打印日志,只需要以下三步: 一.在Android.mk中添加以下内容: LOCAL_LDLIBS := -lm -llog或者LOCAL_LDLIBS:=-L$(SYSROOT)/usr/ ...
TensorFlow 关闭日志打印
ubuntu 中打开命令行,执行如下指令 vim ~/.bashrc 进入配置文件后在文件末尾加上: export TF_CPP_MIN_LOG_LEVEL=2 保存退出,再使用下面命令使刚才修改的配 ...
Mybatis-plus开启和关闭SQL日志打印
开启日志打印 application.yml文件开启方式: mybatis-plus:mapper-locations: classpath:mapper/*.xmlconfiguration:#关闭 ...
【游戏开发进阶】新发带你玩转Unity日志打印技巧（彩色日志 | 日志存储与上传 | 日志开关 | 日志双击溯源）
文章目录一.前言二.常规日志打印 1.打印Hello World 2.打印任意类型的数据 3.context参数干嘛的 4.格式化输出三.彩色日志打印四.日志存储与上传 1.打印日志事件 2. ...
android 系统/本地日志打印
android 本地日志打印提示博主:章飞_906285288 博客地址:http://blog.csdn.net/qq_29924041 转载请注明出处前言离上一篇博客大概有快四个月没有 ...
mybatis-plus 开启与关闭 SQL 日志打印
开启打印 Mybatis-plus 需要通过下面的方式开启控制台 SQL 日志打印 mybatis-plus:configuration:log-impl: org.apache.ibatis.log ...
WSL构建nRF5 SDK + ARM GCC开发环境 – RTT打印调试日志
陈拓 2022/07/28-2022/11/04 1. 概述在<WSL构建nRF5 SDK + ARM GCC开发环境> https://zhuanlan.zhihu.com/p/544 ...
安装Idea(集成scala)以及在windows上配置spark(hadoop依赖)本地开发环境
这两天花了点时间重装了win 10,必要的开发常用工具如IDE Idea以及运行spark等任务需要的hadoop本地依赖环境重新配起来,记录下简要步骤和几个小问题希望能给正在学习的小伙伴一点帮助. ...

【spark】本地开发关闭日志打印

文章目录

前言

1.新建log4j.properties

【spark】本地开发关闭日志打印相关推荐

最新文章

热门文章