Windows上的Spark环境搭建后，运行时报错的问题

搭建好环境后，命令行没有问题，测试HanLP的时候没错，但是在测试贝叶斯分类的时候报错：

java.lang.NoSuchMethodError: org.apache.spark.util.Utils$.getSimpleName(Ljava/lang/Class;)Ljava/lang/String;at org.apache.spark.ml.util.Instrumentation.logPipelineStage(Instrumentation.scala:52)at org.apache.spark.ml.classification.NaiveBayes$$anonfun$trainWithLabelCheck$1.apply(NaiveBayes.scala:130)at org.apache.spark.ml.classification.NaiveBayes$$anonfun$trainWithLabelCheck$1.apply(NaiveBayes.scala:129)at org.apache.spark.ml.util.Instrumentation$$anonfun$11.apply(Instrumentation.scala:183)at scala.util.Try$.apply(Try.scala:192)at org.apache.spark.ml.util.Instrumentation$.instrumented(Instrumentation.scala:183)at org.apache.spark.ml.classification.NaiveBayes.trainWithLabelCheck(NaiveBayes.scala:129)at org.apache.spark.mllib.classification.NaiveBayes.run(NaiveBayes.scala:373)at org.apache.spark.mllib.classification.NaiveBayes$.train(NaiveBayes.scala:417)at org.apache.spark.mllib.classification.NaiveBayes.train(NaiveBayes.scala)at com.example.springboot.BayesTest.TestA(BayesTest.java:93)at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)at java.lang.reflect.Method.invoke(Method.java:498)at org.junit.runners.model.FrameworkMethod$1.runReflectiveCall(FrameworkMethod.java:50)at org.junit.internal.runners.model.ReflectiveCallable.run(ReflectiveCallable.java:12)at org.junit.runners.model.FrameworkMethod.invokeExplosively(FrameworkMethod.java:47)at org.junit.internal.runners.statements.InvokeMethod.evaluate(InvokeMethod.java:17)at org.junit.runners.ParentRunner.runLeaf(ParentRunner.java:325)at org.junit.runners.BlockJUnit4ClassRunner.runChild(BlockJUnit4ClassRunner.java:78)at org.junit.runners.BlockJUnit4ClassRunner.runChild(BlockJUnit4ClassRunner.java:57)at org.junit.runners.ParentRunner$3.run(ParentRunner.java:290)at org.junit.runners.ParentRunner$1.schedule(ParentRunner.java:71)at org.junit.runners.ParentRunner.runChildren(ParentRunner.java:288)at org.junit.runners.ParentRunner.access$000(ParentRunner.java:58)at org.junit.runners.ParentRunner$2.evaluate(ParentRunner.java:268)at org.junit.runners.ParentRunner.run(ParentRunner.java:363)at org.junit.runner.JUnitCore.run(JUnitCore.java:137)at com.intellij.junit4.JUnit4IdeaTestRunner.startRunnerWithArgs(JUnit4IdeaTestRunner.java:68)at com.intellij.rt.execution.junit.IdeaTestRunner$Repeater.startRunnerWithArgs(IdeaTestRunner.java:47)at com.intellij.rt.execution.junit.JUnitStarter.prepareStreamsAndStart(JUnitStarter.java:242)at com.intellij.rt.execution.junit.JUnitStarter.main(JUnitStarter.java:70)

在针对NoSuchMethodError找了很久的原因，搜了很多博客之后，确定是版本问题，环境或jar包的问题都有可能，于是重新下载。

----------------------------------------------------------------------------------

已知的最正确对应版本：

环境为spark2.3.0forhadoop2.6 + scala2.11.8 + hadoop2.6.4 + winutils.exe2.6.4

jar包为spark核心2.11-2.3.0 + sparkmllib2.11-2.4.0

并不能解决问题。

------------------------------------------------------------------------------------------------

于是重新创建springboot项目。

再次运行贝叶斯测试类时继续报错：

java.lang.NoClassDefFoundError: org/codehaus/janino/InternalCompilerExceptio
.......
Caused by: java.lang.ClassNotFoundException: org.codehaus.janino.InternalCompilerException

搜索之后找到一篇博客，说可以修改janino的版本：

<dependency><groupId>org.codehaus.janino</groupId><artifactId>janino</artifactId><version>3.0.8</version>
</dependency>

竟然没有再报错！

------------------------------------------------------------------------------------------------

还可以下载maven helper，能更直接的看出jar包版本冲突问题。

参考https://blog.51cto.com/14309075/2398215

事实证明那些东拼西凑不负责任故意留坑的博客真是害人。

Windows上的Spark环境搭建后，运行时报错的问题相关推荐

Windows单机下Spark环境搭建
JDK下载 jdk推荐使用jdk1.8(下载网址如下) Java Downloads | Oracle 接下来设置相应的环境变量,设置方法为:在桌面右击[计算机]--[属性]--[高级系统设置],然后 ...
【spark】Spark环境搭建（运行模式）
一.local本地模式解压重命名 cd /export/servers tar spark-2.2.0-bin-2.6.0-cdh5.14.0.tgz mv spark-2.2.0-bin-2.6. ...
webpack设置打包入口后运行时报错Invalid configuration object. Webpack has been initialized using a configuration
报错的原因是./dist不是一个绝对路径需要把上面的path的值设置为绝对路径
Spark认知Spark环境搭建
Spark认知&Spark环境搭建 1 Spark认知篇 1.1 什么是Spark? 1.2 Spark 特点 1.2.1 快 1.2.2 易用 1.2.3 通用 1.2.4 兼容性 1.3 ...
Spark环境搭建教程
Spark环境搭建教程前言 Spark环境搭建-Local-本地模式准备工作原理操作-开箱即用测试 Spark环境搭建-Standalone-独立集群原理操作测试 Spark环境搭建- ...
安装python环境与运行_专栏G｜轻松学Python01：Python环境搭建与运行
原标题:专栏G|轻松学Python01:Python环境搭建与运行 | Cora编撰 | 和[PM10分男人]一起成长 Python是一个开源且功能强大的解释型语言,应用领域比较广泛,如今越来越受重视 ...
Windows下Android开发环境搭建和配置
关于Windows下Android开发环境搭建.配置方面文章,网上一搜一堆,为方便以后参考,权且做个记录,主要关注安装过程中的注意事项.对新手提醒的是,本文介绍SDK开发Android APK环境搭建 ...
Windows下android模拟器环境搭建
Windows下android模拟器环境搭建一.搭建java环境 1.下载jdk1.6.0_45 下载地址:http://www.oracle.com/technetwork/java/arch ...
hadoop与spark环境搭建命令简易教程（Ubuntu18.04）
hadoop与spark环境搭建命令简易教程(Ubuntu18.04) Hadoop 一.single node cluster 二.multi node cluster 三.快速版(远程复制) Sp ...
在Windows系统中搭建PHP环境,PHP环境搭建-Windows系统下PHP环境搭建
1.PHP环境搭建的前提是 Apache HTTP Server (Apache 服务器)已经安装部署成功,并可以正常访问到服务器的主页面.Apache HTTP Server 的安装部署已经在上一篇 ...

Windows上的Spark环境搭建后，运行时报错的问题

Windows上的Spark环境搭建后，运行时报错的问题相关推荐

最新文章

热门文章