报错:

Lost executor 33 on xx.xx.xx.152: Remote RPC client disassociated. Likely due to containers exceeding thresholds, or network issues. Check driver logs for WARN messages.

原因：

由于spark某节点可用内存不足导致整个任务失败，在执行日志中找到可以上面的报错信息。

我这里应该是提交了多个任务后内存占用超过了spark可用内存，导致报错，有个任务提交占用45g内存，而spark配置的可申请内存是80G，所以导致了任务失败。

解决：

将spark-env.sh中的SPARK_WORKER_MEMORY参数调大一些，需要注意服务器内存，因为我这里可用内存还有156g，目前spark只用了80，所以直接调大了。
如果内存不足的话，就将提交任务时申请的内存executor-memory调小，保证内存够用。

spark-submit --master spark://xx.xx.xx.xx:7077 --class $main --deploy-mode client --driver-memory $driver_mem --executor-memory $exec_mem --executor-cores $exec_cores --total-executor-cores $total_core --conf spark.driver.maxResultSize=0 --conf spark.memory.fraction=0.7 --conf spark.memory.storageFraction=$storageFraction --conf spark.memory.offHeap.enabled=true --conf spark.memory.offHeap.size=5g --conf spark.executor.memoryOverhead=5G --conf spark.speculation=true --conf spark.network.timeout=3000 --conf spark.executor.extraJavaOptions="-XX:+UseG1GC -XX:-TieredCompilation -XX:G1HeapRegionSize=16m -XX:InitiatingHeapOccupancyPercent=55 -XX:SoftRefLRUPolicyMSPerMB=0 -XX:-UseCompressedClassPointers -XX:MetaspaceSize=256m -XX:MaxMetaspaceSize=256m -XX:ReservedCodeCacheSize=512m -XX:+UseCodeCacheFlushing -XX:ParallelGCThreads=20 -XX:ConcGCThreads=20 -Xms20g -XX:+PrintGCDetails -XX:+PrintGCTimeStamps" --conf spark.driver.extraJavaOptions="-XX:+UseG1GC" --jars $jars xxx-1.0.jar $date1 $max $date2  >> log/$log_file

Spark worker内存不足导致任务失败，报错Likely due to containers exceeding thresholds, or network issues相关推荐

ubuntu18.04根目录已满造成开机失败报错Fail to start....
ubuntu根目录已满造成开机失败报错Fail to start- 由于在安装ubuntu系统是手动分区,没有将/usr分区单独划分出来,造成/usr分区实际占用了根目录/.的空间,基本上通过命令安装 ...
pod挂载nas启动失败报错：unable to mount volume xxxx Timeout waiting for mount paths to be created
深夜你熟睡时,用户打来电话.大哥我在上线我的应用怎么突然起不来了.快帮我看看,再过一个小时店铺就开门了. 核实pod状态打开电脑登入环境,使用kubectl get pod 查询到用户的pod处于创 ...
SAP S4HANA 账户组的配置里'Int.Std.Grping'选项没勾选导致ABAP程序报错
SAP S4HANA 账户组的配置里'Int.Std.Grping'选项没勾选导致ABAP程序报错 BP,试图创建一个新的vendor code, 角色是ZGM001, Grouping是G001, ...
CentOS 7安装Development Tools 失败报错 group tools does not exist. Maybe run: yum groups mark install
重装centos,以及迁移时,碰见这个问题.如下图: CentOS 7安装Development Tools 失败报错 group tools does not exist. Maybe run: ...
python使用phantomJS循环for爬取多个页面时，解决内存持续变大而报错“ConnectionResetError: [WinError 10054]远程主机强迫关闭了一个现有的连接”的问题
python使用phantomJS循环for爬取多个页面时,解决内存持续变大而报错"ConnectionResetError: [WinError 10054]远程主机强迫关闭了一个现有的连 ...
重写Readable接口read()方法传入Scanner导致的BufferOverflowException报错
在Main方法里产生随机单词, 导致异常BufferOverflowException , 首先思考的是每次调用read()方法应该会传入一个新的CharBuffer吧(实际并不是, 后面说) // ...
高德地图H5 定位失败报错 geolocation time out. Get ipLocation failed解决方案
高德地图H5 定位失败报错 geolocation time out. Get ipLocation failed的解决方法. 前言:此坑踩得我挺难受的,搞了三天需求:进入页面,获取用户具体经纬度并 ...
win7 系统更新服务器失败怎么办,Windows7 Update更新失败报错80070002和80070003怎么办？...
Windows Update更新失败怎么办?一位Win7用户在更新Windows Update时失败了,系统提示错误代码为"80070002"或"80070003&quo ...
jupyter notebook导入numpy 失败报错：Original error was: DLL load failed while importing _multiarray_umath:
jupyter notebook导入numpy 失败报错:Original error was: DLL load failed while importing _multiarray_umath: ...
DataNode 启动失败报错 Incompatible clusterIDs
文章目录 DataNode 启动失败报错 Incompatible clusterIDs 信息报错摘要问题描述问题原因分析步骤解决办法参考 DataNode 启动失败报错 Incompat ...

Spark worker内存不足导致任务失败，报错Likely due to containers exceeding thresholds, or network issues

报错:

原因：

解决：

Spark worker内存不足导致任务失败，报错Likely due to containers exceeding thresholds, or network issues相关推荐

最新文章

热门文章