Linkin-1.0.0提交spark任务到HDP环境报错:failed to request external resource provider

linkis-1.0.0部署到hdp集群，执行spark任务时候报错如下：

找到日志linkis-cg-linkismanager.log可以看到一些错误日志，如图所示：

于是开启linkis-cg-linkismanager服务的远程debug，跟踪到源码，当用linkis-cli提交spark任务时候，debug会执行到com.webank.wedatasphere.linkis.resourcemanager.external.yarn类里面的requestResourceInfo()方法，发现其中的rmWebAddress变量值有些蹊跷，如图：

这个值应该是hadoop yarn的rm web地址，但是我环境的rm web地址不是127.0.0.1，所以猜测该错误是在访问rm web时地址不对造成的，继续分析，发现这个地址来源于db中的表linkis_cg_rm_external_resource_provider，它的内容如下：

其中的rm web地址正是debug时候显示的本地”127.0.0.1“，于是修改这个值为实际地址，然后重新提交spark任务即可。

Linkin-1.0.0提交spark任务到HDP环境报错:failed to request external resource provider相关推荐

搭建spark源码运行环境报错及解决办法
报错1: \Restfull\spark\external\flume-sink\src\main\scala\org\apache\spark\streaming\flume\sink\Loggin ...
使用前台方式启动Redis时，出现Creating Server TCP listening socket 127.0.0.1:6379: bind: Address already in use报错
问题描述:使用前台启动方式启动Redis时,出现Creating Server TCP listening socket 127.0.0.1:6379: bind: Address already i ...
关于Cause: java.lang.ClassNotFoundException: Cannot find class: 0（提示找不到类）报错
关于Cause: java.lang.ClassNotFoundException: Cannot find class: 0(提示找不到类)报错搭建mybatis架构过程中idea包出这么一个莫名 ...
运行报Invalid property 'specParamList[0][specName]' of bean class [com.model.Produ... 报错的解决办法
运行报Invalid property 'specParamList[0][specName]' of bean class [com.model.Produ... 报错的解决办法前端需要进行JSO ...
ruoyi-cloud 服务器端idea启动报错Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.6.0:exec (defau
ruoyi-cloud 服务器端idea启动报错Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.6.0:exec (defau ...
thingsboard 编译失败，报错 Failed to execute goal com.mycila:license-maven-plugin:3.0
欢迎加入ThingsBoard技术交流群这里可复制Q群号:69998183 关注"云腾五洲":获取二开ThingsBoard物联网平台演示交流社区:ThingsKit-Thin ...
终端报错PTY allocation request failed on channel 0
故障现象终端报错PTY allocation request failed on channel 0 故障原因系统默认pts(虚拟终端)可用最大值是4096,超过个这个值导致无法登陆解决方案内 ...
记录一次wagon报错Failed to execute goal org.codehaus.mojo:wagon-maven-plugin:1.0:upload-single
记录一次wagon报错Failed to execute goal org.codehaus.mojo:wagon-maven-plugin:1.0:upload-single (default-cl ...
FAQ_全志平台Tina3.0.7 RXXX cowbell方案启动时cpufreq报错且无法生成cpufreq节点
FAQ_全志平台Tina3.0.7 RXXX cowbell方案启动时cpufreq报错且无法生成cpufreq节点 [软件版本]Tina 3.0.7 cowbell方案 [现象] 启动时报错: [ ...
记一次解决 Feign 提交批量添加请求收到 400 报错的经历
上周在实现用 OpenFeign 提交批量添加请求时,遇到一个奇怪的问题,本来 Post 请求的 body 体,因为是批量请求,内容就比较多,准备起来就比较麻烦,仔细检查了很多次,提交时还是各种失败, ...

Linkin-1.0.0提交spark任务到HDP环境报错:failed to request external resource provider

Linkin-1.0.0提交spark任务到HDP环境报错:failed to request external resource provider相关推荐

最新文章

热门文章