记录hiveonspark:Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask
问题描述：
在部署hive on spark，测试时报错，执行建表操作成功，但是插入insert出现以下错误：
Failed to execute spark task, with exception ‘org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session 2df0eb9a-15b4-4d81-aea1-24b12094bf44)’
FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session 2df0eb9a-15b4-4d81-aea1-24b12094bf44
查资料主要列举了以下三点原因：
- Spark没有启动；
需在/opt/module/spark路径下输入以下内容启动spark：
[xiaobai@hadoop102 spark]$ ./sbin/start-all.sh
Spark和hive版本不匹配，我的是匹配的；
内存资源不足，导致hive连接spark客户端超时。
原因分析
在/tmp/xiaobai路径下按照所需时间查看hive日志：
提示timed out waiting for client connection.表明hive与spark连接时间超时！
解决方法
1). 将/opt/module/spark/conf/目录下spark-env.sh.template文件改成spark-env.sh，之后添加内容export SPARK_DIST_CLASSPATH=$(hadoop classpath)；
2). 将/opt/module/hive/conf目录下hive-site.xml修改hive和spark的连接时间。
再次执行insert语句，成功！喜极而泣！
我是昨天晚上就出错的 查了一晚上也没解决 结果今天才解决 不说了 解决另一个bug去了
记录hiveonspark:Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask相关推荐
- hive遇到FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误...
hive遇到FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误 起因 ...
- Hive创表异常，FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Me taException(m ...
- Hive更改表名FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Una ble
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Una ble to alter ...
- 执行HiveSql时报错“FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTa”
执行HiveSql时报错"FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapR ...
- FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. ORC split
文章目录 1. 报错 2. 解决方法 1. 报错 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec. ...
- hive报错Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
hive出现报错 Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.ap ...
- Hive报错FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
Hive报错Error while processing statement: FAILED: Execution Error, return code 3 from org.apache.hadoo ...
- Hive错误之 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析
Hive Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析 1. 背景 使用hi ...
- FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. Could not ...
最新文章
- 英文版Windows XP操作系统的中文支持设置
- 论文荐读 | NLP之Attention从入门到精通
- 2015上半年软件设计师考点，难点3
- hot编码 字符one_用 PyTorch 实现基于字符的循环神经网络 | Linux 中国
- 浅谈K短路算法（KSP）之二（YEN .J算法求解）
- 假期还剩 2 天，Python 爬取途牛网，揭秘哪里人少景美！
- CSS的一些基本样式的简单介绍
- Linux学习第一篇之Linux系统安装——系统分区
- 李刚的《疯狂Java讲义》
- 最近遇到个关于接口的奇怪的问题
- python3将网页保存为pdf
- Web Polygraph (WebAxe-4) 测试反向代理缓存服务器
- xz （压缩文件格式）
- Android软件常用下载地址
- USB驱动——键盘，U盘
- 漫漫挨踢路，淡淡感想录
- Libsvm和Liblinear的使用经验谈
- 递归实现钢条切割问题（Java版）
- 【操作系统】磁盘调度算法（FCFS、SSTF、SCAN 和 C-LOOK 调度策略）
- 起诉18年，Linux 源码“抄袭”案以1425万美元和解