SparkStreaming运行出现 java.lang.NoClassDefFoundError: org/apache/htrace/Trace 错误

1、简介

　　最近在摸索利用sparkstreaming从kafka中准实时的读取数据，并将在读取的过程中，可以做一个简单的分析，最后将分析结果写入hbase中。

2、出现的问题

（1）将从kafka中读取数据的程序打包到服务器上运行，发现需要用kafka相关的包，因此采用assembly的方法打包即可。

（2）运行 spark-submit --class "com.yiban.datacenter.MyDataCollection.KafkaToHbase" --master local MyDataCollection-0.0.1-SNAPSHOT-jar-with-dependencies.jar出现如下错误：

java.lang.NoClassDefFoundError: org/apache/htrace/Trace 这个错误很明显是由于无法加载对应的类，也就是没有添加相应的jar包。

分析原因：这个对应jar是一个htrace-core-3.1.0-incubating.jar 的jar包。本以为只需要在pom文件中添加对应的依赖项即可。但是我尝试的结果还是报同样的错误。

解决的方法：

　　既然还是报同样的错误，于是就执行在执行命令的时候，通过命令行参数的形式指定对应的jar包的路径即可。最后运行的命令如下所示：

spark-submit --class "com.yiban.datacenter.MyDataCollection.KafkaToHbase --master local --driver-class-path /opt/cloudera/parcels/CDH-5.4.4-1.cdh5.4.4.p0.4/jars/htrace-core-3.1.0-incubating.jar --conf spark.executor.extraClassPath=/opt/cloudera/parcels/CDH-5.4.4-1.cdh5.4.4.p0.4/jars/htrace-core-3.1.0-incubating.jar MyDataCollection-0.0.1-SNAPSHOT-jar-with-dependencies.jar

同样也可以在yarn-cluster模式下运行：

spark-submit --class "com.yiban.datacenter.MyDataCollection.KafkaToHbase --master yarn-cluster --driver-class-path /opt/cloudera/parcels/CDH-5.4.4-1.cdh5.4.4.p0.4/jars/htrace-core-3.1.0-incubating.jar --conf spark.executor.extraClassPath=/opt/cloudera/parcels/CDH-5.4.4-1.cdh5.4.4.p0.4/jars/htrace-core-3.1.0-incubating.jar MyDataCollection-0.0.1-SNAPSHOT-jar-with-dependencies.jar

转载于:https://www.cnblogs.com/ljy2013/p/5170802.html

SparkStreaming运行出现 java.lang.NoClassDefFoundError: org/apache/htrace/Trace 错误相关推荐

hbase日志报java.lang.ClassNotFoundException: org.apache.htrace.SamplerBuilder的错
环境是这样的 Hadoop-2.8.5 Hbase-2.2.4 之前查了官网,这两个版本是目前可以互相匹配的最高的版本,but启动hbase报下面这个错误具体日志在log/下hbase-root-m ...
Exception in thread “main“ java.lang.NoClassDefFoundError: org/apache/ibatis/io/Resources
项目场景: 在学习mybatis框架的时候,刚刚学习如果查询数据库user表中的信息时问题描述: 所有步骤都是按照教程上走的,但是运行后里面就出现了 Exception in thread &quo ...
java.lang.NoClassDefFoundError: org/apache/juli/logging/LogFactory
如果最近你也在学习SpringBoot,当项目运行时,你有可能会遇到这样的异常:java.lang.NoClassDefFoundError: org/apache/juli/logging/LogF ...
java.lang.NoClassDefFoundError:org/apache/commons/io/Charsets (jsoup配合htmlunit 爬取异步加载的网页遇到的)
最近用jsoup配合htmlunit 爬取异步加载的网页运行代码的时候,报错java.lang.NoClassDefFoundError:org/apache/commons/io/Charsets ...
HBase出现java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration问题
问题:Hbase在集群上运行报错:NoClassDefFoundError:org/apache/hadoop/hbase/HBaseConfiguration 需求:HBase使用Java创建表,打 ...
maven使用mvn命令创建项目异常java.lang.NoClassDefFoundError: org/apache/commons/collections/ExtendedProperties
命令: mvn archetype:generate -DarchetypeArtifactId=jersey-quickstart-gri zzly2 -DarchetypeGroupId=org. ...
java.lang.NoClassDefFoundError: org/apache/commons/pool2/PooledObjectFactory
用GenericObjectPool来连接postgres数据库,在pom.xml中也加入了依赖 <!-- https://mvnrepository.com/artifact/org.apac ...
java.lang.NoClassDefFoundError: org/apache/geronimo/mail/util/Base64Encod——解决方案
最近在弄通过javaMail发送信息到邮箱,老是会报这样的错误:Exception in thread "main" java.lang.NoClassDefFoundError: ...
Java代码引用flink报错：java.lang.NoClassDefFoundError: org/apache/flink/streaming/util/serialization/Deseri
我在 IDEA 环境中调试 Kafka+Flink 自己编写的例子时代码编译都是通过的,但是进行Debug调试时,出现如下异常: java.lang.NoClassDefFoundError: or ...

SparkStreaming运行出现 java.lang.NoClassDefFoundError: org/apache/htrace/Trace 错误

SparkStreaming运行出现 java.lang.NoClassDefFoundError: org/apache/htrace/Trace 错误相关推荐

最新文章

热门文章