Hive On Spark搭建报错：Failed to create Spark client for Spark session xx: ..TimeoutException

2024-05-12 16:44:03

错误描述

按照官方文档，搭建Hive On Spark时，出现以下错误。

FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session xxx: java.util.concurrent.TimeoutException: Client 'xxx timed out waiting for connection from the Remote Spark Driver

错误分析

既然是连接超时，可能有两种情况。一种是配置正常，但网络情况太差，响应还未返回给Hive就报错了。这种情况下，把请求等待时间改大就行。

在hive中，编辑hive-site.xml，调整以下参数：

# 单位毫秒
hive.spark.client.connect.timeout
hive.spark.client.server.connect.timeout

但多数情况下，可能是hive on spark的配置错误或缺失，导致无法响应。 如果是参照官方文档进行的搭建，则需要注意Spark的版本问题。

Hive On Spark是需要特定的Spark版本的，如果当前Hive只支持Spark 1.x，则需把spark-assembly.jar拷贝到Hive 的lib目录下。

但如果你使用了Spark2.x的集群，在Spark2.x 的lib下是诶没有这个jar包的。所以会出现报错情况。

解决方案

从官网查询当前Hive所依赖的Spark版本，重新安装Spark。或者使用编译的方式安装Spark，去除hadoop依赖即可，详情见Hive官网文档的Hive On Spark搭建一节。

后话

如果有帮助的，记得点赞、关注。在公众号《数舟》中，可以免费获取专栏《数据仓库》配套的视频课程、大数据集群自动安装脚本，并获取进群交流的途径。

我所有的大数据技术内容也会优先发布到公众号中。如果对某些大数据技术有兴趣，但没有充足的时间，在群里提出，我为大家安排分享。

公众号自取：

Hive On Spark搭建报错：Failed to create Spark client for Spark session xx: ..TimeoutException相关推荐

oracle 10g rac 包root.sh报错,案例:Oracle Rac root.sh报错 Failed to create keys in the OLR
天萃荷净 [root@web1 grid]# /u01/app/11.2.0/grid/root.sh Performing root user operation for Oracle 11g Th ...
idea 启动报错: Failed to create JVM.JVM.Path XXXXXXX\jbr\ 我的解决办法
idea 启动报错: Failed to create JVM.JVM.Path XXXXXXX\jbr\ 我的解决办法在 C:\Users\Administrator\AppData\Roamin ...
【在Windows7旗舰版下安装Anaconda报错failed to create menus】
安装Anaconda报错failed to create menus 装了N次的Anaconda,第一次出现这种错误,觉得很有意思,于是在网上大概搜索了大家给的处理方法: 安装路径中不能包含中文字符, ...
Autopep8 安装时出现的两种报错 failed to create process 和 [Errno 2] No such file or directory
Autopep8 安装时出现的两种报错 1.failed to create process 2.[Errno 2] No such file or directory 小结关键词: autopep ...
Anaconda安装报错(Failed to create Anaconda menus)
Anaconda安装时报错--Failed to create Anaconda menus 在我们安装Anaocnda的时候,一般来说,按照正常的安装是没有任何问题的,但是软件嘛,总会出现这样那样的 ...
idea 创建maven项目报错: Failed to create parent directories for tracking file
由于最近想换成idea开发,但是在创建maven项目的时候报了: Failed to create parent directories for tracking file,这个错误我在看了下错误的信 ...
【错误记录】Android Studio 配置 AspectJ 报错 ( Failed to create Jar file C:\xxx\aspectjtools-1.8.10.jar. )
文章目录一.报错信息二.解决方案三.Gradle 与 Gradle 插件版本适配一.报错信息在 Android Studio 中配置 AspectJ , 配置后的 Module 下的 bui ...
Eclipse查看JDK源码报错——Failed to create the part’s controls
在Eclipse中使用Ctrl+左键点击查看JDK源码时,报错: Failed to create the part's controls 或Resource Not Found.这是因为Eclip ...
【ArcGIS错误集锦002-Server02】ArcGISserver发布站点报错Failed to create the site. Could not create directory path
Failed to create the site. Could not create directory path '\10.4.1.6\Arcgisserverdir\config-store'. ...
安装anaconda 报错 failed to create menus
报错发现百度搜索的解决办法五花八门,实际试过几个不能有效解决问题,遂专心研究出错日志,发现报错找不到python3.X.dll,遂猜测是未安装好python3.7所致(回忆起可能是与安装的是32位而不 ...

最新文章

热门文章