spark 读取mongodb失败,报executor time out 和GC overhead limit exceeded 异常

代码：

import com.mongodb.spark.config.ReadConfig
import com.mongodb.spark.sql._
val config = sqlContext.sparkContext.getConf
.set("spark.mongodb.keep_alive_ms", "15000")
.set("spark.mongodb.input.uri", "mongodb://10.100.12.14:27017")
.set("spark.mongodb.input.database", "bi")
.set("spark.mongodb.input.collection", "userGroupMapping")
val readConfig = ReadConfig(config)
val objUserGroupMapping = sqlContext.read
.format("com.mongodb.spark.sql")
.mongo(readConfig)
objUserGroupMapping.printSchema()
val tbUserGroupMapping=objUserGroupMapping.toDF()
tbUserGroupMapping.registerTempTable("userGroupMapping")select _id,c,g,n,rn,t,ut from userGroupMapping where ut>'2018-05-02' limit 100

使用上述的代码取userGroupMapping 集合过后的100条记录，出现了executor time out 和GC overhead limit exceeded 异常。一开始以为推测是task 从mongodb取的数据太大，导致spark executor内存不够，后来调研了一下spark mongodb connector 在取数据的时候是条件下发的，也就是先从mongodb过滤再取回spark 内存，这样的话就不会出现内存不够的情况。后来在网上调研后，有一种说法是说task 太多，导致task gc的时候争夺gc时间和内存资源（这个不是很清楚），根据这种说法，我把本来task core 从16个调成6个后再跑程序，居然不会报错了。至于具体原因还不是很清楚，先在这里记录一下。

转载于:https://www.cnblogs.com/chengjunhao/p/8984466.html

spark 读取mongodb失败,报executor time out 和GC overhead limit exceeded 异常相关推荐

Java IDEA pom 报错java.lang.OutOfMemoryError: GC overhead limit exceeded 基本所有依赖都报错（除了JDK自带String等）解决详
@Java IDEA pom 报错java.lang.OutOfMemoryError: GC overhead limit exceeded 基本所有依赖都报错(除了JDK自带String等)解决详 ...
Spark读取HDFS上的Snappy压缩文件所导致的内存溢出问题 java.lang.OutOfMemoryError: GC overhead limit exceeded
报错java.lang.OutOfMemoryError: GC overhead limit exceeded HDFS上有一些每天增长的文件,使用Snappy压缩,突然某天OOM了 1.原因: 因 ...
17 记一次 spark 读取大数据表 OOM OutOfMemoryError: GC overhead limit exceeded
前言 // 呵呵一天的车, 这就是过年吧!, 但是你还能看到那一盏为你留的灯, 这可能就是羁绊吧 // 草稿箱抽一波呵呵最近因为一次测试造了一张 200w 数据记录的表然后业务上需要分 ...
spark程序运行异常：java.lang.OutOfMemoryError: GC overhead limit exceeded
此次异常是在集群上运行的spark程序日志中发现的.由于这个异常导致sparkcontext被终止,以致于任务失败: 出现的一些原因参考:GC overhead limit exceeded jav ...
idea启动java服务报错OutOfMemoryError: GC overhead limit exceeded解决方法
在用idea开发java项目时,启动报内存溢出错误,致服务启动失败: Error:java: java.lang.OutOfMemoryError: GC overhead limit exceede ...
Eclipse报错：gc overhead limit exceeded eclipse
Eclipse报错:gc overhead limit exceeded eclipse 原因是Eclipse默认配置内存太小需要更改Eclipse安装文件夹下的eclipse.ini文件. 1.打开 ...
IDEA mvn 报错GC overhead limit exceeded
在idea中添加maven的构建命令,执行的时候报错:[ERROR] GC overhead limit exceeded -> [Help 1] 这是因为项目太大了,mvn在执行过程中内存不够 ...
JVM 报 GC Overhead limit exceeded 是什么意思？
默认情况下,并不是等堆内存耗尽,才会报 OutOfMemoryError,而是如果 JVM 觉得 GC 效率不高,也会报这个错误. 那么怎么评价 GC 效率不高呢?来看下源码: 呢?来看下源码gcOv ...
【jvm】java jvm 报错 OutOfMemoryError: GC overhead limit exceeded
1.概述 JVM 抛出 OutOfMemoryError 的最后一种情况是 JVM 认为在执行 GC 上花费了太多时间: Exception in thread "main" ja ...

spark 读取mongodb失败,报executor time out 和GC overhead limit exceeded 异常

spark 读取mongodb失败,报executor time out 和GC overhead limit exceeded 异常相关推荐

最新文章

热门文章