当我们执行Spark-shell的时候，会出现如下界面，如果觉得显示信息过多可通过修改conf文件夹下的log4j.properties文件让其只显示警告信息，而不显示所有的信息1。

解决方案

进入到spark目录/conf文件夹下，此时有一个log4j.properties.template文件，我们执行如下命令将其拷贝一份为log4j.properties，并对log4j.properties文件进行修改。

cp log4j.properties.template log4j.properties
vim log4j.properties

如上图所示，将log4j.rootCategory=INFO, console中的INFO改为WARN，保存退出即可。
效果如下所示：

同样，该方法也适用于pyspark。

解决spark-shell输出日志信息过多相关推荐

Android学习笔记11---_查看与输出日志信息
11_查看与输出日志信息 --------------------------- 1.查看日志和错误信息因为不会在control控制台输出错误信息,所以要通过 window-->sho ...
linux nohup不生成日志,nohup不输出日志信息的方法，及linux重定向学习
起因最近使用nohup创建了一个后台进程,默认日志输出到了nohup.out文件中,程序跑起来也就没再管,过了大约一周,发现硬盘空间不够了,于是查找原因,发现这个nohup.out文件已经到了70G ...
nohup不输出日志信息的方法，及linux重定向学习
起因最近使用nohup创建了一个后台进程,默认日志输出到了nohup.out文件中,程序跑起来也就没再管,过了大约一周,发现硬盘空间不够了,于是查找原因,发现这个nohup.out文件已经到了70G ...
一招解决 adb logcat 输出日志报错 read: unexpected EOF 俩种解决办法设置缓存区清空logcat 缓存
问题: adb 输出日志报错read: unexpected EOF! 然后adb 就自动中断了 read: unexpected EOF! 原因: logcat 进程异常退出,是因为 log buf ...
tomcat的日志不输出日志信息的解决方法
1.下载日志jar包,例如:commons-logging-1.1.1.jar.放在tomcat的bin目录下,或者是自己项目的lib包里. 2.修改tomcat的bin目录下面的catalina.b ...
pycharm中出现pytest_在 pycharm 里通过 pytest 运行用例，控制台没有输出日志信息
import logging logging.basicConfig(level=logging.DEBUG) def test_demo(): logging.debug("This is ...
解决 RIDE 执行输出日志中文乱码（RIDE 1.7.4.2）
1. RIDE 1.7.4.2 打印中文的时候会有乱码显示 2. 解决方法:Python 安装路径下修改 \Lib\site-packages\robotide\contrib\testrunner\ ...
android第八步查看与输出日志信息
转载于:https://www.cnblogs.com/zyldream/p/3596166.html
输出控制台信息到日志并通过cronolog对tomcat进行日志切分
windows下tomcat默认并不会把控制台输出的信息都记录进日志文件.但是在生产环境中,出现问题时,控制台的日志输出是无法查据的,因此需要将日志记录下来. 解决方法: 输出日志到文件修改tomc ...

解决spark-shell输出日志信息过多

解决方案

解决spark-shell输出日志信息过多相关推荐

最新文章

热门文章