spark 如何配置日志打印级别 Log4j.properties文件

1、spark自身的打印级别

首先明白如何设置spark本身的日志级别

Edit your conf/log4j.properties file and change the following line:

log4j.rootCategory=INFO, console

log4j.rootCategory=ERROR, console

Another approach would be to :

Start spark-shell and type in the following:

import org.apache.log4j.Logger import org.apache.log4j.Level Logger.getLogger("org").setLevel(Level.OFF) Logger.getLogger("akka").setLevel(Level.OFF)

如果是在main方法里

  Logger.getLogger("org").setLevel(Level.INFO);

这种方式设置

2、程序自己的打印级别

实际上spark 使用log4j 来作为日志打印所以可以配置log4j.properties文件在里面设置一些日志打印级别类似如下配置具体配置可以参看log4j的文档自定义类可以通过获取类自己再指定级别

log4j.rootLogger=INFO,CONSOLE,ROLLING_FILE###################
# Console Appender
###################
log4j.appender.CONSOLE.Threshold=ERROR
log4j.appender.CONSOLE=org.apache.log4j.ConsoleAppender
log4j.appender.CONSOLE.Target=System.out
log4j.appender.CONSOLE.layout=org.apache.log4j.PatternLayout
log4j.appender.CONSOLE.layout.ConversionPattern= [%p] %d %c - %m%n########################
# Rolling File
########################
log4j.appender.ROLLING_FILE=org.apache.log4j.RollingFileAppender
log4j.appender.ROLLING_FILE.File=us-eng.log
log4j.appender.ROLLING_FILE.Append=true
log4j.appender.ROLLING_FILE.MaxFileSize=5000KB
log4j.appender.ROLLING_FILE.MaxBackupIndex=100
log4j.appender.ROLLING_FILE.layout=org.apache.log4j.PatternLayout
log4j.appender.ROLLING_FILE.layout.ConversionPattern=%d{yyyy-M-d HH:mm:ss}%x[%5p](%F:%L) %m%n

3、spark submit 时

spark-submit \ --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:<file path>/log4j.xml" \ --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:<file path>/log4j.xml"

也可以使用log4j.properties

把log4j.properties放在一个分布式环境比如HDFS里

Cluster模式

spark-submit \ --master yarn \ --deploy-mode cluster \ --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:log4j.properties" \ --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:log4j.properties" \ --files "/absolute/path/to/your/log4j.properties" \ --class com.github.atais.Main \ "SparkApp.jar"

Client模式

spark-submit \ --master yarn \ --deploy-mode cluster \ --driver-java-options "-Dlog4j.configuration=file:/absolute/path/to/your/log4j.properties \ --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:log4j.properties" \ --files "/absolute/path/to/your/log4j.properties" \ --class com.github.atais.Main \ "SparkApp.jar"

Notes:

Files uploaded to spark-cluster with --files will be available at root dir, so there is no need to add any path in file:log4j.properties.
Files listed in --files must be provided with absolute path!
file: prefix in configuration URI is mandatory.

参考 StackOverFlow

https://stackoverflow.com/questions/27781187/how-to-stop-info-messages-displaying-on-spark-console

https://stackoverflow.com/questions/27781187/how-to-stop-info-messages-displaying-on-spark-console?noredirect=1&lq=1

spark 程序配置日志级别通过log4j相关推荐

携程Apollo动态配置日志级别
在application.properties中配置 logging.level.com.umgsai.core.dal=debug 可以在日志中打印出详细的SQL语句. 但是并不希望在线上环境也打印 ...
Spark utils —— 设置日志级别
1. 通过 SparkContext 指定日志级别 val sc: SparkContext = new SparkContext(sparkConf) sc.setLogLevel("WA ...
Spring Boot –使用执行器端点在运行时配置日志级别
从Spring Boot 1.5开始,新的loggers器执行器端点允许在运行时查看和更改应用程序记录级别. 将spring-boot-actuator添加到您的项目 <dependency&g ...
java log4j基本配置及日志级别配置详解，java基础面试笔试题
我总结出了很多互联网公司的面试题及答案,并整理成了文档,以及各种学习的进阶学习资料,免费分享给大家. 扫描二维码或搜索下图红色VX号,加VX好友,拉你进[程序员面试学习交流群]免费领取.也欢迎各位一起 ...
Spring Cloud Feign 请求压缩、Feign的日志级别配置
一.Spring Cloud Feign 请求压缩 #开启压缩compression:request:enabled: true # 开启请求压缩#最小触发压缩的大小min-request-size: ...
log4j对象改变日志级别
log4j对象改变日志级别可批量的改变所有级别,或是根据条件改变日志级别. log4j配置文件: log4j.rootLogger=ERROR,FILE,CONSOLE,EXECPTION #log4 ...
手写logback_springboot logback调整mybatis日志级别无效的解决
springboot logback调整mybatis日志级别无效的解决现象在日志配置文件 logback-spring.xml 中,无论怎么修改级别,mybatis 的 sql 日志都会打印出来 ...
log4 日志级别使用
1.日志的级别: 我们现在要调用logger的方法,不过在这个Logger对象中,有很多方法,所以要先了解log4j的日志级别,log4j规定了默认的几个级别:trace<debug<in ...
Confluence 6 配置日志
我们推荐你根据你的需求来配置你自己的 Confluence 日志.你可以有下面 2 种方法来修改你的日志: 通过 Confluence 管理员控制台进行配置 – 你的修改仅在本次修改有效,下次重启后将 ...
日志级别_SpringBoot实战（十三）:Admin动态修改日志级别
强烈推荐一个大神的人工智能的教程:http://www.captainbed.net/zhanghan [前言] 之前关于线上输出日志一直有个困惑:如何可以动态调整的日志级别,来保证系统在正常运行时性 ...

spark 程序配置日志级别通过log4j

1、spark自身的打印级别

2、程序自己的打印级别

3、spark submit 时

Cluster模式

Client模式

Notes:

参考 StackOverFlow

spark 程序配置日志级别通过log4j相关推荐

最新文章

热门文章

spark 程序配置日志级别 通过log4j

1、spark自身的打印级别

2、程序自己的打印级别

3、spark submit 时

Cluster模式

Client模式

Notes:

参考 StackOverFlow

spark 程序配置日志级别 通过log4j相关推荐

最新文章

热门文章

spark 程序配置日志级别通过log4j

spark 程序配置日志级别通过log4j相关推荐