问题描述

spark分布式运行的过程中，自己有两个worker，但是运行的时候，只有一台worker正常运行，另一台报了右边的错，如下图
ERROR CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM
把正常的机器停掉，只运行有问题的worker（dl21,dl23）,发现能出结果，但是两台机器的stderr仍然是右边的错，所以奇怪的是，结果怎么出来的？
网上说是因为资源分配不够，但是我分配了executor 10G资源，反而出现下面这种问题

然后有些机器就报下面这个错
还有说这个问题更多地与执行器/容器级别上的内存和动态时间分配有关
我配置了
.set("spark.dynamicAllocation.executorIdleTimeout", "5000s")
还是不行

因为有dl8可以，其他的不可以，所以分析不是程序问题也不是spark环境配置问题

解决方法

最后怎么都不行，重新安装了一个spark-3.0.2-bin-hadoop2.7, 原先是spark2.7

ERROR CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM相关推荐

ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM的一种解决方案
问题现象:spark应用能正常计算得到结果,但是查看executor有很多是dead,如下图查看executor stderr日志发现有错误日志:ERROR executor.CoarseGrain ...
ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM
用 bash spark-submit 在spark上跑代码的时候出现错误: ERROR executor.Executor: Exception in task 9.0 in stage 4 ...
error: Program received signal SIGSEGV, Segmentation fault. (Codeblocks, C++)(2)
之前,针对这个问题也总结过:"error: Program received signal SIGSEGV, Segmentation fault. (Codeblocks, C++)&qu ...
error: Program received signal SIGSEGV, Segmentation fault. (Codeblocks, C++)
关于"error: Program received signal SIGSEGV, Segmentation fault.". 之前多次遇到的情况都是:对空指针进行了操作. 比如 ...
RECEIVED SIGNAL 15
DFSRouter: RECEIVED SIGNAL 15: SIGTERM ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: RECEIV ...
【FLINK】RECEIVED SIGNAL 15: SIGTERM. Shutting down as requested.
参考以下两篇博客,定位解决了问题,[备注学习] 本人使用的版本是flink 1.10 1.Flink任务物理内存溢出问题定位问题现象一个使用10秒滚动窗口的任务在平稳运行一段时间之后出现了频繁的重 ...
【错误记录】Flutter 运行报错 Error -32000 received from application: There are no running service protocol
文章目录一. 报错信息二. 解决方案 1. 解决方案一 2. 解决方案二 ( 推荐 ) 一. 报错信息在 Android Studio 中运行 Flutter 程序 , 点击按钮运行程序 , ...
gdb调试时，Program received signal SIGPIPE, Broken pipe.
今天在gdb调试时,发现总是出现Program received signal SIGPIPE, Broken pipe,搜索了网上的资料,发现是在调试时,接收到了SIGPIPE这个signal信号导 ...
“progtam received signal SIGABRT,Aborted.“错误
<Linux高性能服务器编程> p255 代码清单13-4 使用共享内存的聊天室服务器程序 gdb调试到代码207行(ret = bind(listenfd,(struct sockad ...
program received signal sigfpe,Arithmetic exception
为什么会出现这样的错误:program received signal sigfpe,Arithmetic exception.实在想不通,望帮个忙. int TiaoHe(int n) {int m ...

ERROR CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM

问题描述

解决方法

ERROR CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM相关推荐

最新文章

热门文章