Spark应用日志级别设置

Spark-core包设置默认的日志级别为info，所以我们才看到一大堆日志信息。

开发的时候，把print的日志掩盖了。

方法一：

代码中设置日志级别

JavaSparkContext context=new JavaSparkContext(conf);
context.setLogLevel("warn");

方法二：

添加 log4j.properties 到 resource

log4j.properties

#
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#    http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
## Set everything to be logged to the console
log4j.rootCategory=WARN, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n# Settings to quiet third party logs that are too verbose
log4j.logger.org.spark-project.jetty=WARN
log4j.logger.org.spark-project.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO
log4j.logger.org.apache.parquet=ERROR
log4j.logger.parquet=ERROR# SPARK-9183: Settings to avoid annoying messages when looking up nonexistent UDFs in SparkSQL with Hive support
log4j.logger.org.apache.hadoop.hive.metastore.RetryingHMSHandler=FATAL
log4j.logger.org.apache.hadoop.hive.ql.exec.FunctionRegistry=ERROR

Spark应用日志级别设置相关推荐

jboss8日志级别设置_罐中研讨会：设置JBoss BRMS全日研讨会
jboss8日志级别设置是否在寻找一种简单的方法来宣传,展示或演示使用JBoss业务规则管理系统(BRMS)产品的入门难度? 别无所求,因为我们已经召集了这个研讨会,因此您可以围绕JBoss BRM ...
jboss8日志级别设置_罐中研讨会：设置JBoss BPM Suite全日研讨会
jboss8日志级别设置是否在寻找一种简单的方法来宣传,展示或演示JBoss业务流程管理套件(BPM Suite)产品的入门难度? 别无所求,因为我们已经召集了这个研讨会,因此您可以围绕JBoss ...
tensorflow log 日志级别设置
log 日志级别设置 import os os.environ["TF_CPP_MIN_LOG_LEVEL"]='1' # 这是默认的显示等级,显示所有信息 os.environ[ ...
SpringBoot日志级别设置
SpringBoot日志级别设置在application.properties配置文件中设置: #设置时区: spring.jackson.date-format=yyyy-MM-dd HH:mm: ...
Jmeter日志输出和日志级别设置
Jmeter运行出现问题可以通过调整jmeter的日志级别定位问题,但运行测试时建议关闭jmeter日志,jmeter打印日志耗费系统性能. Jmeter日志默认存放在%JMeter_HOME%\bi ...
Apache HttpClient库的日志级别设置原理
在你的业务类的构造函数里调用下面这个enable方法,以启用日志: private void enableHeaderWireAndContextLogging(){System.setPropert ...
Feign的日志级别设置（显示feign调用服务过程中的日志信息）
spark代码中添加logger_JAVA代码如何设置SPARK的日志打印级别
问题场景:在使用spark sql 增加where条件过滤时,会出现打印很多的被过滤掉的记录(几十万条),导致跑spark sql 特别慢! var df2 = sqc.sql("SELEC ...
设置springboot日志级别_Spring Boot 日志框架实践
概述 Java应用中,日志一般分为以下5个级别: ERROR 错误信息 WARN 警告信息 INFO 一般信息 DEBUG 调试信息 TRACE 跟踪信息 Spring Boot使用Apache的Co ...

Spark应用日志级别设置

Spark应用日志级别设置相关推荐

最新文章

热门文章