spark User class threw exception: java.lang.NoSuchMethodError

项目github地址：bitcarmanlee easy-algorithm-interview-and-practice
欢迎大家star，留言，一起学习进步

在spark 集群上运行job的时候，经常会出现类似如下错误提示：

User class threw exception: java.lang.NoSuchMethodError: org.apache.spark.WritableConverter$.writableWritableConverterFn(Lscala/reflect/ClassTag;)Lscala/Function0;
at com.xiaomi.xxx.algorithm.common.LogUtils$.xxx(LogUtils.scala:23)
at com.xiaomi.xxx.algorithm.feature.xxx$.xxx(xxxlog.scala:17)
at com.xiaomi.xxx.algorithm.feature.xxx$.main(xxxlog.scala:74)
...

一般来说，上述错误都是因为对代码进行编译的版本与运行的版本不一致造成的。
使用Spark，这意味着用于编译的Spark版本与部署的版本（在机器或群集上）不同。

比如我某次运行的时候，代码编译的版本是spark 2.3，但是线上的submit脚本指定的是spark 2.1。然后将submit脚本里的spark版本指定为2.3即可。

spark User class threw exception: java.lang.NoSuchMethodError相关推荐

JAVA零碎要点008---tomcat启动的时候报错了严重: End event threw exception java.lang.reflect.InvocationTargetExcepti
tomcat启动的时候报错了: 严重: End event threw exception java.lang.reflect.InvocationTargetException at ...
严重: Servlet.service() for servlet jsp threw exception java.lang.NullPointerException
在用maven管理的项目开发过程中,服务器我们用的是tomcat,有时候我们依赖的jar包会和tomcat自带的jar包起冲突,但是不加呢,jsp页面的<script>标签又会报红,虽然不 ...
Servlet.service() for servlet [jsp] in context with path [] threw exception [java.lang.LinkageError
启动maven的web项目时报错: Servlet.service() for servlet [jsp] in context with path [] threw exception [java. ...
Servlet.service() for servlet SpringMVC threw exception ---- java.lang.NullPointerException
我在用Ajax 传值到后台遇到的错误,原因也简单是因为传来了空值,你把空值进行了处理我通过Ajax传过来,我进行前台调试的时候发现这个Ajax执行了2次(不知道为什么),第一次传值过来了,但是第 ...
jersey2.22.2异常java.lang.NoSuchMethodError: org.glassfish.jersey.CommonProperties.getValue
使用jersey2.22.2的时候报异常严重: StandardWrapper.Throwable java.lang.NoSuchMethodError: org.glassfish.jersey ...
Factory method ‘sqlSessionFactory‘ threw exception； nested exception is java.lang.NoSuchMethodError:
springboot 引入mybatis-plus后报错: Factory method 'sqlSessionFactory' threw exception; nested exception i ...
IDEA 本地调试spark程序 Exception in thread main java.lang.NoSuchMethodError: scala.collection.immutable.
1.很简单的一测试程序: 2.run运行时:出现ERROR,报错行显示在 new SparkContext 这行. val sc = new SparkContext(conf) Exception ...
Spark启动错误Exception in thread “main” java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$
1 错误 [error] (run-main-0) java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty() ...
Exception in thread “main“ java.lang.NoSuchMethodError: scala.Predef$
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$ (我这里是idea + spark + ...
Spark 启动报错时报错 java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty()Lscala/collect
今天在Spark测试时异常报错一直提示找不到该方法因为本身代码量很小而且没有用到错误提示的类找了许久才发现是版本对应问题 /Library/Java/JavaVirtu ...

spark User class threw exception: java.lang.NoSuchMethodError

spark User class threw exception: java.lang.NoSuchMethodError相关推荐

最新文章

热门文章