spark代码中添加logger_JAVA代码如何设置SPARK的日志打印级别

问题场景：在使用spark sql 增加where条件过滤时，会出现打印很多的被过滤掉的记录(几十万条)，导致跑spark sql 特别慢！

var df2 = sqc.sql("SELECT * FROM T_COMMISIONRATEDEF WHERE T_INSURANCETYPE = '630' ORDER BY T_INSURANCETYPE DESC " )

执行时，打印截图：

解决方法：

设置spark 的日志级别，不打印过滤INFO信息

1)代码中使用呢代理设置：关键参考代码如下

import org.apache.log4j.Level

Logger.getLogger("org.apache.spark").setLevel(Level.ERROR)

Logger.getLogger("org.apache.hadoop").setLevel(Level.ERROR)

Logger.getLogger("org.apache.zookeeper").setLevel(Level.ERROR)

spark代码中添加logger_JAVA代码如何设置SPARK的日志打印级别相关推荐

如何在ppt或word中添加高亮代码？
如何在ppt或word中添加高亮代码? 问题: 如何ppt中添加带有语法高亮的程序代码,就如同下面的形式(在ppt嵌入高亮代码,且可以编辑,带有行号) 详细的要求如下: 1.代码带有语法高亮. 2.结 ...
coverage 覆盖多个测试文件时_奇技淫巧[2]：cmake中添加lcov代码覆盖测试
奇技淫巧[2]:cmake中添加lcov代码覆盖测试 1 目的为CMake工程的test添加lcov代码覆盖性测试 2 要点添加lcov支持的方法应该有很多,比较方便的有: (1)利用脚本基于文件 ...
PHP中添加HTML代码的三种方法（printEND）
php中添加HTML代码,就是php类型的文件中添加html代码~ 第一种是在HTML中加PHP. 大段大段的html代码中,在各个需要执行php的地方<?php .... ?> 比如 l ...
js向head中添加js代码
js向head中添加js代码 1.$("<script>").attr("type","text/javascript") .h ...
c# mysql代码中写事务_代码中添加事务控制 VS（数据库存储过程+事务）保证数据的完整性与一致性...
[c#]代码库代码中使用事务前提:务必保证一个功能(或用例)在同一个打开的数据连接上,放到同一个事务里面操作. 首先是在D层添加一个类为了保存当前操作的这一个连接放到一个事务中执行,并事务执行打开同一 ...
自己开发的一款基于PagedDataSource的datalist repeater控件，只需要在源程序中添加三行代码，即可实现通用分页
第一步: 在使用到自定义分页的后台代码中添加以下三行 protected void Page_Load(object sender, EventArgs e) { UIS ...
java注释里加_如何在代码中添加注释
什么是代码注释,如何在代码中添加注释,相信每一位了解编程的人并不陌生.注释里往往有很多有趣的脑洞和「真心话」.今天我们一起去看看那些6到飞起,被玩坏了的幽默注释吧. 信息量太大的注释系列-- 1.你造 ...
xxljob在业务代码中添加任务（登录后token验证）
之前做过一次在业务代码中调用xxljob的接口添加任务启动任务,xxljob的接口添加免登录验证注解后直接调用,博文地址:xxl-job 在业务代码中添加任务,后面用到的groupId获取方法也在这里 ...
[译] 代码中添加注释之好坏丑
原文地址:Putting comments in code: the good, the bad, and the ugly. 原文作者:Bill Sourour 译文出自:掘金翻译计划译者: ba ...

spark代码中添加logger_JAVA代码如何设置SPARK的日志打印级别

spark代码中添加logger_JAVA代码如何设置SPARK的日志打印级别相关推荐

最新文章

热门文章