spark-OutOfMemory:GC overhead limit exceeded 解决，timelimitexceeded

今天准备跑自己的spark程序，但是运行过程中遇到了OutOfMemory:GC overhead limit exceeded的错误。

原以为是数据集太大，google了一番，以为是内存不够了，但是在webui一看其实数据集好像也不是很大，但是还是尝试提高了内存配置，通过提高spark.executor.memory和spark.shuffle.memoryFraction，降低spark.storage.memoryFraction，来提高机器可用的堆空间。

再次运行发现，问题依旧。在苦恼中找到Spark User Mailing List的一个问答帖，有人和我遇到了同样的问题。在帖子里发现了一个新的解释：executor core数量太多，导致了多个core之间争夺gc时间以及资源（应该主要是内存资源），最后导致大部分的时间都花在了gc上。

根据他的建议，我把core数量从4调到了1（也是挺极端的，真是为了成功运行，我拼了），方法是：由于我是spark standalone集群模式，所以直接编辑conf/spark-env.sh中的SPARK_EXECUTOR_CORES

运行，成功了。

真是不可思议，本来并行是为了提高速度和效率，但是这里却反而导致了运行失败。具体原因其实还不清楚，关于jvm的gc我也不甚了解，甚至也是今天我才尝试设置spark的其他环境参数，还是要多加学习啊！

本文转自http://www.bkjia.com/yjs/990042.html，所有权利归原作者所有。

spark-OutOfMemory:GC overhead limit exceeded 解决，timelimitexceeded相关推荐

java.lang.OutOfMemoryError: GC overhead limit exceeded解决办法
原文地址为: java.lang.OutOfMemoryError: GC overhead limit exceeded解决办法 java.lang.OutOfMemoryError: GC ove ...
idea启动java服务报错OutOfMemoryError: GC overhead limit exceeded解决方法
在用idea开发java项目时,启动报内存溢出错误,致服务启动失败: Error:java: java.lang.OutOfMemoryError: GC overhead limit exceede ...
java.lang.OutOfMemoryError：GC overhead limit exceeded解决方法
异常如下:Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded 一.解 ...
gc overhead limit exceeded 解决办法和问题追究
1.服务器相关配置问题通过修改开发坏境IDE运行参数或者线上环境启动修改配置-Xmx768m来扩大允许占用内存大小 2.程序存在相应对象无法被GC垃圾回收处理程序部分代码BUG导致内存溢出,GC无 ...
Unable to execute dex: GC overhead limit exceeded
Android打包时下面的错误: Unable to execute dex: GC overhead limit exceeded GC overhead limit exceeded 解决的方法: ...
17 记一次 spark 读取大数据表 OOM OutOfMemoryError: GC overhead limit exceeded
前言 // 呵呵一天的车, 这就是过年吧!, 但是你还能看到那一盏为你留的灯, 这可能就是羁绊吧 // 草稿箱抽一波呵呵最近因为一次测试造了一张 200w 数据记录的表然后业务上需要分 ...
spark程序运行异常：java.lang.OutOfMemoryError: GC overhead limit exceeded
此次异常是在集群上运行的spark程序日志中发现的.由于这个异常导致sparkcontext被终止,以致于任务失败: 出现的一些原因参考:GC overhead limit exceeded jav ...
spark 读取mongodb失败,报executor time out 和GC overhead limit exceeded 异常
代码: import com.mongodb.spark.config.ReadConfig import com.mongodb.spark.sql._ val config = sqlContex ...
Spark读取HDFS上的Snappy压缩文件所导致的内存溢出问题 java.lang.OutOfMemoryError: GC overhead limit exceeded
报错java.lang.OutOfMemoryError: GC overhead limit exceeded HDFS上有一些每天增长的文件,使用Snappy压缩,突然某天OOM了 1.原因: 因 ...

spark-OutOfMemory:GC overhead limit exceeded 解决，timelimitexceeded

spark-OutOfMemory:GC overhead limit exceeded 解决，timelimitexceeded相关推荐

最新文章

热门文章