一、问题描述

在运行某个Pyspark代码时报错如下：

Warning: Ignoring non-Spark config property: deploy-mode
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
22/08/02 11:35:34 WARN [Thread-4] Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041.
22/08/02 11:35:34 WARN [Thread-4] Utils: Service 'SparkUI' could not bind on port 4041. Attempting port 4042.
22/08/02 11:35:34 WARN [Thread-4] Utils: Service 'SparkUI' could not bind on port 4042. Attempting port 4043.
22/08/02 11:35:34 WARN [Thread-4] Utils: Service 'SparkUI' could not bind on port 4043. Attempting port 4044.
22/08/02 11:35:34 WARN [Thread-4] Utils: Service 'SparkUI' could not bind on port 4044. Attempting port 4045.
22/08/02 11:35:34 WARN [Thread-4] Utils: Service 'SparkUI' could not bind on port 4045. Attempting port 4046.
22/08/02 11:35:34 WARN [Thread-4] Utils: Service 'SparkUI' could not bind on port 4046. Attempting port 4047.
22/08/02 11:35:34 WARN [Thread-4] Utils: Service 'SparkUI' could not bind on port 4047. Attempting port 4048.
22/08/02 11:35:35 WARN [Thread-4] Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME.

二、解决方案

上面是因为在yarn上执行spark作业时，其他的app占用了集群资源，导致新的job无法使用足够的资源，可以Kill掉相应的job再试试：

lsof -i:4041
lsof -i:4042
kill -9 进程id

查了下其他的说法：spark-shell里面又单独的设置了spark的context，因为spark-shell里已经有一个context对象了，所以新建创建的数据无法使用。

解决报错： YarnScheduler: Initial job has not accepted any resources相关推荐

spark 序列化错误集群提交时_【问题解决】本地提交任务到Spark集群报错：Initial job has not accepted any resources...
本地提交任务到Spark集群报错:Initial job has not accepted any resources 错误信息如下: 18/04/17 18:18:14 INFO TaskSched ...
解决报错: MobaXterm X11 proxy: Unsupported authorisation protocol
此文首发于我的个人博客:解决报错 MobaXterm X11 proxy Unsupported authorisation protocol - zhang0peter的个人博客今天在使用Moba ...
Sublime Text 3便携版下载安装和常用插件安装--顺便解决报错An error occured installing和no packages available for install
文章目录 Sublime Text 3便携版下载安装和常用插件安装 1.Sublime Text 3便携版下载: 2.sublime 插件控制器(Package Control)安装 2.1离线安装P ...
解决报错：import sun.misc.BASE64Decoder无法找到
解决报错:import sun.misc.BASE64Decoder无法找到 2017年09月29日 16:03:26 chaoyu168 阅读数:2116 标签: sun.misc.BASE64De ...
mplab 语法错误不报错_Python怎么解决报错？
相信很多小伙伴在初学python的时候,都会遇到很多的报错,那么该怎么解决呢?下面是一些常见的错误以及解决方法. 语法错误语法错误是初学者最常犯的错误,例如引号没有成一对.括号没有成一对.逻辑判断时 ...
Qt5.x解决报错main.cpp:1:10: fatal error: QApplication: No such file or directory问题
Qt5.x解决报错main.cpp:1:10: fatal error: QApplication: No such file or directory问题问题描述定位问题解决方法 The en ...
解决报错：OSError: Failed to open file b‘D:\\\xe5\xad\xa6\xe4\xb9\xa0\\scipy-_7cm39vc‘(图文并茂版详细版！！)
解决报错报错信息问题分析解决方法注意报错信息 •当我们在使用matplotlib绘图时,可能会出现下述报错!! OSError: Failed to open file b'D:\\\xe5 ...
【亲测成功】Ubuntu18.04升级GLIBC2.27——解决报错：ibc.so.6: version `GLIBC_2.28‘ not found
[亲测成功]Ubuntu18.04升级GLIBC2.27--解决报错:/lib/x86_64-linux-gnu/libc.so.6: version `GLIBC_2.28' not found 事 ...
Win10 Rational Rose 关于报错 Rational Lience Key Error及一劳永逸解决报错法
文章目录一.安装软件二.解决报错问题三.一劳永逸一.安装软件续第一节的内容: 点击访问第一节安装教程二.解决报错问题还记得我们开头下载的两个压缩包吗?接下来我们就需要用到这个文件用记事 ...

解决报错： YarnScheduler: Initial job has not accepted any resources

文章目录

一、问题描述

二、解决方案

解决报错： YarnScheduler: Initial job has not accepted any resources相关推荐

最新文章

热门文章