Spark提交报错:1 node(s) are excluded in this operation
提交spark on yarn作业报错:
主要错误信息“There are 1 datanode(s) running and 1 node(s) are excluded in this operation”,有一个datanode被排除
1088 [main] INFO org.apache.spark.deploy.yarn.Client - Verifying our application has not requested more than the maximum memory capability of the cluster (8192 MB per container)
1089 [main] INFO org.apache.spark.deploy.yarn.Client - Will allocate AM container, with 1408 MB memory including 384 MB overhead
1089 [main] INFO org.apache.spark.deploy.yarn.Client - Setting up container launch context for our AM
1091 [main] INFO org.apache.spark.deploy.yarn.Client - Setting up the launch environment for our AM container
1106 [main] INFO org.apache.spark.deploy.yarn.Client - Preparing resources for our AM container
1155 [main] WARN org.apache.spark.deploy.yarn.Client - Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME.
3343 [main] INFO org.apache.spark.deploy.yarn.Client - Uploading resource file:/tmp/spark-510bf868-cc29-4e2f-b1c0-55136c98eb32/__spark_libs__2655251803993337384.zip -> hdfs://dss0:8020/user/root/.sparkStaging/application_1645757337254_0003/__spark_libs__2655251803993
337384.zip3475 [Thread-7] INFO org.apache.hadoop.hdfs.DataStreamer - Exception in createBlockOutputStream blk_1073742400_1577
java.io.EOFException: Unexpected EOF while trying to read response from serverat org.apache.hadoop.hdfs.protocolPB.PBHelperClient.vintPrefixed(PBHelperClient.java:458)at org.apache.hadoop.hdfs.DataStreamer.createBlockOutputStream(DataStreamer.java:1762)at org.apache.hadoop.hdfs.DataStreamer.nextBlockOutputStream(DataStreamer.java:1679)at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:716)
3477 [Thread-7] WARN org.apache.hadoop.hdfs.DataStreamer - Abandoning BP-242088412-192.168.78.12-1644827784895:blk_1073742400_1577
3483 [Thread-7] WARN org.apache.hadoop.hdfs.DataStreamer - Excluding datanode DatanodeInfoWithStorage[192.168.78.12:9866,DS-686c7ba7-eda5-442a-a041-cf44347b8bfc,DISK]
3503 [Thread-7] WARN org.apache.hadoop.hdfs.DataStreamer - DataStreamer Exception
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/root/.sparkStaging/application_1645757337254_0003/__spark_libs__2655251803993337384.zip could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and 1 node(s) are ex
cluded in this operation. at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:2116)
执行"hadoop fs -rm -r -skipTrash /user/root/.sparkStaging/*",清空掉该目录下的作业缓存文件后解决~,如果问题还存在可以尝试重启hdfs以及yarn,或者关闭一些服务使集群资源更加充足,然后再尝试提交作业
Spark提交报错:1 node(s) are excluded in this operation相关推荐
- 【Flink】FLink 提交报错 instead of minReplication (=1). There are 3 datanode(s) running and 3 node(s) are
文章目录 1.场景1 1.1 概述 1.2. 随便put一个文件 1. 3. 尝试权限 1.4. safemode 1.5 .解决 2.场景2 1.场景1 1.1 概述 flink任务提交报错,错误如 ...
- 解决gitte提交报错 error: GE007: Your push would publish a private email address.
错误情况: gitte提交报错,无法提交上去,报错如下: remote: Powered by GITEE.COM [GNK-6.0] remote: error: GE007: Your push ...
- 【错误记录】GitHub 提交报错 ( OpenSSL SSL_connect: SSL_ERROR_SYSCALL in connection to github.com:443 )
文章目录 一.报错信息 二.解决方案 一.报错信息 GitHub 提交报错 : 16:37:19.781: [ClassLoader_Demo] git -c credential.helper= - ...
- Git 提交报错,账户和密码错误 和 git add/git commit 文件太大太多
问题1: Git 提交报错,账户和密码错误 重新使用git进行作业提交 问题2: 源码太大文件太多,失败 git add . git commit idea push操作 问题3:git push 报 ...
- 百度普通收录API提交报错:site init fail
目录 普通收录API提交文档 推送接口 推送示例 报错 正确写法 另外 原文地址 这个问题我在 各个搜索引擎SEO网站提交入口和使用感受 中已经遇到了,但是今天再试的时候又忘记了. 特此再记录一次: ...
- HBuilderX 安装 scss/sass编译 插件报错 binding.node 解决方案windows版
HBuilderX 安装 scss/sass编译 插件报错 binding.node 解决方案windows版 官方给出的解决方案 让我们在命令行执行下面三行代码 [0;31m--> LibSa ...
- hexo提交报错 unable to access ‘https://github.com/*/*.github.io.git/‘: Couldn‘t resolve host ‘github.com
title: >- hexo提交报错 unable to access 'https://github.com//.github.io.git/': Couldn't resolve host ...
- SourceTree 提交报错 闪退
1.什么是SourceTree? 拥有可视化界面的项目版本控制软件,适用于git项目管理 window.mac可用 2.提交报错并且闪退问题 在提交的时候就是上面的界面,在最下面的框中写了说明之后点击 ...
- @webservice报错org.apache.cxf.common.i18n.UncheckedException: No operation was found with
文章目录 1. 现象 2. 解决办法1 3. 解决办法2 1. 现象 整合spring+cxf的webservice,成功发布了wsdl,但在调用的时候报错 org.apache.cxf.common ...
最新文章
- 软件工程项目组Z.XML会议记录 2013/09/18
- php输出下划线,使用php GD库输出带下划线文本的图像
- linux能远程开机么,Linux 下如何实现远程开机
- verilog扰码器设计及仿真
- 【c# 学习笔记】所有类的父类:System.object
- Spring MVC处理用户请求的完整流程
- TCP 拥塞控制算法
- 【BZOJ-1090】字符串折叠 区间DP + Hash
- 《可汗学院: 统计学》学习笔记
- 【工作流引擎--Snaker介绍】
- 《面向对象分析与设计》一3.7 例题
- python 成语接龙1-爬去四字成语
- 第六次作业——潘芊睿
- 稀疏数组——优化五子棋游戏的小技巧
- 为打印到OneNote中的PDF添加链接目录
- iOS开发:音乐播放器
- c语言统计英文字母频率,C语言实现英文文本词频统计
- 雷石服务器系统怎么设置分辨率,雷石传奇改惊艳触摸屏不能校准 触摸不准问题?...
- 云服务器可以修改ip,云服务器的ip可以更换吗
- 只有准确了解你的孩子在网上观看的内容,才能对小家伙们的网络行为给出合理的建议!
热门文章
- 【示例】《Java程序设计》第二周博文:第二周 计算圆面积
- 人工智能观看100部电影学习如何识别接吻 | 广东省智能创新协会
- 软抠图算法matlab代码,贝叶斯抠图算法matlab实现
- 面向移动互联网和物联网应用的下一代移动通信
- tf2 自定义循环训练,添加metrics(acc、auc、precision、recall)
- 2021年中国网络零售行业发展现状及行业发展趋势分析[图]
- 2. 认识O(logN)的排序
- ezgo安装拼音输入法(fcitx)
- 注释详细 基于C++实现链表队列 实现模拟医院看病排队问题 实现链表的基本操作
- 10. 请至少列举5个 PEP8 规范(越多越好)。