错误现象 :

Job failed with java.lang.ClassNotFoundException: org.apache.spark.AccumulatorParam
FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job failed during runtime. Please check stacktrace for the root cause.

解决方案 :

重新装一边 Hive

https://blog.csdn.net/qq_44226094/article/details/123218860

关键在于初始化 Hive 元数据库

把原来的数据库里的数据清空 , 在初始化:

schematool -initSchema -dbType mysql -verbose

下面是我的配置文件

conf 目录下新建 hive-site.xml 文件

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><!-- jdbc连接的URL --><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://cpu102:3306/metastore?useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value></property><!-- jdbc连接的Driver--><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><!-- jdbc连接的username--><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><!-- jdbc连接的password --><property><name>javax.jdo.option.ConnectionPassword</name><value>xxxxxx</value></property><!-- Hive默认在HDFS的工作目录 --><property><name>hive.metastore.warehouse.dir</name><value>/user/hive/warehouse</value></property><!-- Hive元数据存储的验证 --><property><name>hive.metastore.schema.verification</name><value>false</value></property><!-- 指定存储元数据要连接的地址 --><!--<property><name>hive.metastore.uris</name><value>thrift://cpu101:9083</value></property>--><!-- 指定hiveserver2连接的端口号 --><property><name>hive.server2.thrift.port</name><value>10000</value></property><!-- 指定hiveserver2连接的host --><property><name>hive.server2.thrift.bind.host</name><value>cpu101</value></property><!-- 元数据存储授权  --><property><name>hive.metastore.event.db.notification.api.auth</name><value>false</value></property><!-- 打印默认表头  --><property><name>hive.cli.print.header</name><value>true</value></property><!-- 打印默认库  --><property><name>hive.cli.print.current.db</name><value>true</value></property><!-- 该HA Spark依赖位置（注意：端口号8020必须和 namenode 的端口号一致）--><property><name>spark.yarn.jars</name><value>hdfs://mycluster/spark-jars/*</value></property><!--Hive执行引擎--><property><name>hive.execution.engine</name><value>spark</value></property></configuration>

未配置 HA :

 <!--Spark依赖位置（注意：端口号8020必须和 namenode 的端口号一致）--><property><name>spark.yarn.jars</name><value>hdfs://cpu101:8020/spark-jars/*</value></property>

spark-defaults.conf

spark.master                           yarn
spark.eventLog.enabled                 true
spark.eventLog.dir                     hdfs://cpu101:8020/spark-history
spark.executor.memory                  1g
spark.driver.memory                    1g

ClassNotFoundException: org.apache.spark.AccumulatorParam 解决方案相关推荐

hive on spark 配置时报错：Job failed with java.lang.ClassNotFoundException: org.apache.spark.AccumulatorPa
1.执行sql语句,报错信息. hive> insert into table student values(1,'abc'); Query ID = atguigu_2020081415001 ...
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.FSDataInputStream
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.FSDataInputStream CDH5.16.2执行spark ...
大火的Apache Spark也有诸多不完美
现在如果你想要选择一个解决方案来处理企业中的大数据并不是难事,毕竟有很多数据处理框架可以任君选择,如Apache Samza,Apache Storm .Apache Spark等等.Apache S ...
实用 | 从Apache Kafka到Apache Spark安全读取数据
引言随着在CDH平台上物联网(IoT)使用案例的不断增加,针对这些工作负载的安全性显得至关重要.本篇博文对如何以安全的方式在Spark中使用来自Kafka的数据,以及针对物联网(IoT)使用案例的两 ...
Apache Spark Jobs 性能调优
当你开始编写 Apache Spark 代码或者浏览公开的 API 的时候,你会遇到各种各样术语,比如transformation,action,RDD(resilient distributed d ...
使用Apache Spark构建实时分析Dashboard
问题描述电子商务门户(http://www.aaaa.com)希望构建一个实时分析仪表盘,对每分钟发货的订单数量做到可视化,从而优化物流的效率. 解决方案解决方案之前,先快速看看我们将使用的工具: ...
ClassNotFoundException: org.apache.catalina.loader.DevLoader 自己摸索，丰衣足食
使用tomcat插件时遇到的问题: ClassNotFoundException: org.apache.catalina.loader.DevLoader 解决方案: 参考了许多文章,对我自己的目录 ...
基于Apache Spark的机器学习及神经网络算法和应用
使用高级分析算法(如大规模机器学习.图形分析和统计建模等)来发现和探索数据是当前流行的思路,在IDF16技术课堂上,英特尔公司软件开发工程师王以恒分享了<基于Apache Spark的机器学习及 ...
【转载】Apache Spark Jobs 性能调优（二）
调试资源分配 Spark 的用户邮件邮件列表中经常会出现 "我有一个500个节点的集群,为什么但是我的应用一次只有两个 task 在执行",鉴于 Spark 控制资源使用的参数 ...

ClassNotFoundException: org.apache.spark.AccumulatorParam 解决方案

ClassNotFoundException: org.apache.spark.AccumulatorParam 解决方案

错误现象 :

解决方案 :

ClassNotFoundException: org.apache.spark.AccumulatorParam 解决方案相关推荐

最新文章

热门文章