hive on spark 配置时报错：Job failed with java.lang.ClassNotFoundException: org.apache.spark.AccumulatorPa
1.执行sql语句，报错信息。
hive> insert into table student values(1,'abc'); Query ID = atguigu_20200814150018_318272cf-ede4-420c-9f86-c5357b57aa11 Total jobs = 1 Launching Job 1 out of 1 In order to change the average load for a reducer (in bytes): set hive.exec.reducers.bytes.per.reducer=<number> In order to limit the maximum number of reducers: set hive.exec.reducers.max=<number> In order to set a constant number of reducers: set mapreduce.job.reduces=<number> Job failed with java.lang.ClassNotFoundException: org.apache.spark.AccumulatorParam FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job failed during runtime. Please check stacktrace for the root cause.
原因：由于当前的hive的版本3.1.2，spark版本3.0.0，只能自己编译。
建议用官方发布的hive+spark版本搭配。
安装和Spark对应版本一起编译的Hive，当前官网推荐的版本关系如下：
| HiveVersion | SparkVersion |
|---|---|
| 1.1.x | 1.2.0 |
| 1.2.x | 1.3.1 |
| 2.0.x | 1.5.0 |
| 2.1.x | 1.6.0 |
| 2.2.x | 1.6.0 |
| 2.3.x | 2.0.0 |
| 3.0.x | 2.3.0 |
| master | 2.3.0 |
若版本一致，还报该错误：
若配置的是HA，则：hive-site.xml是如下：
<property>
<name>spark.yarn.jars</name>
<value>hdfs://mycluster/spark-jars/*</value>
</property>
若不是以上原因：
则删掉hive，重新进行安装，也许是在hive还没解压完，你就进行了mv加压后的目录，导致jar包不全；
hive on spark 配置时报错：Job failed with java.lang.ClassNotFoundException: org.apache.spark.AccumulatorPa相关推荐
- 解决Mybatis Plus代码自动生成时报错： Caused by: java.lang.ClassNotFoundException: org.apache.velocity.context
解决Mybatis Plus代码自动生成时报错: Caused by: java.lang.ClassNotFoundException: org.apache.velocity.context.Co ...
- 集群提交HBase代码报错：Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.HBaseConfiguratio
原因分析 HBase官网 已经告诉我们原因以及解决方法了: 原因: 默认情况下,部署到MapReduce群集的MapReduce作业无法访问$ HBASE_CONF_DIR下的HBase配置或HBas ...
- Hive启动报错：java.lang.ClassNotFoundException: org.apache.tez.dag.api.TezConfiguration
<!--Hive启动报错:Caused by: java.lang.ClassNotFoundException: org.apache.tez.dag.api.TezConfiguration ...
- hive查询hudi表使用count报java.lang.ClassNotFoundException: org.apache.hudi.hadoop.HoodieParquetInputFormat
问题描述: hive 查询hudi 报错, 已将hudi 对应包hudi-hadoop-mr-bundle-0.9.0.jar放入lib目录下并重启hive select count(1) from ...
- 【报错笔记】使用MultipartFile 出现异常：java.lang.ClassNotFoundException: org.apache.commons.fileupload...
使用MultipartFile出现异常:java.lang.ClassNotFoundException: org.apache.commons.fileupload.FileItemFactory ...
- hbase日志报java.lang.ClassNotFoundException: org.apache.htrace.SamplerBuilder的错
环境是这样的 Hadoop-2.8.5 Hbase-2.2.4 之前查了官网,这两个版本是目前可以互相匹配的最高的版本,but启动hbase报下面这个错误 具体日志在log/下hbase-root-m ...
- 求助--报错：Caused by: java.lang.ClassCastException: org.apache.ibatis.type.InstantTypeHandler cannot be
这里写自定义目录标题 问题描述: 问题描述: org.springframework.beans.factory.UnsatisfiedDependencyException: Error creat ...
- Exception in thread “main“ java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession
本地 IDEA 跑spark代码,出现这个报错, import org.apache.spark.{SparkConf, SparkContext}object testjson {def main( ...
- Exception in thread main java.lang.NoClassDefFoundError: org/apache/spark/SparkConf
敲黑板 ,引入的依赖 一定要 "compile" 或则 "runtime",否则spark conf 无法初始化,这辈子也运行不了,千万不要是 "pr ...
最新文章
- pipeline和java的区别_总结：四个Pipeline脚本式与声明式语法差异
- OpenGl的glMatrixMode()函数理解
- 苹果后门、微软垄断与Linux缺位
- IOS学习之路--OC的基础知识
- 有关Visual Studio 2008 SP1和SQL Server 2008的一些说明
- c语言程序构造数据类型问题,C语言程序设计课程课件之第四章简单构造数据类型.ppt...
- page 怎么把list 分页_自定义分页器的实现
- BZOJ 3237: [Ahoi2013]连通图
- 哈佛大学计算机与科学,Harvard的CS「哈佛大学计算机科学专业」
- 51单片机使用定时器进行数码管动态扫描程序
- Java演示手机发送短信验证码功能实现
- 大量学术成果存在学术不端行为，撤销优青、面上、青年项目！
- MySQL：基本命令
- localStorage本地存储数组、读取、修改、删除
- LDA通俗理解LDA主题模型
- centos7 安装VNC Server
- java 数据类型 面试题_Java数据类型面试题目
- 电脑初学者怎么学习写代码？代码怎样写入电脑？
- 换硬币 (20 分)
- SpringCloud整合Feign和Nacos报错：No Feign Client for loadBalancing defined. Did you forget to include?