Exception in thread “main“ java.lang.NoSuchMethodError: scala.reflect.ClassT
运行环境:IntelliJ + scala + spark +hadoop
出错原因:IntelliJ 中的scala版本与Spark 自带的scala版本不同导致
我刚开始以为只要把IntelliJ 里的scala 版本配置与虚拟机配置的scala版本一致就行,后来发现不是这样,是要把IntelliJ 中的scala版本与Spark 自带的scala版本一致才行,不是虚拟机里的。
比如说,我虚拟机里配置的scala版本是2.13.3,而安装的Spark自带版本是2.12.10,IntelliJ 里的scala版本应该与Spark自带的版本相同才行,都是2.12.10
虚拟机查看Spark自带安装版本:
/app/Spark/spark-3.0.1-bin-hadoop3.2/jars
也即在Spark安装目录下的jars目录下查看,我的路径是/app/Spark/spark-3.0.1-bin-hadoop3.2
更改IntelliJ scala版本,与Spark自带的scala版本一致
注意:此处IntelliJ已经安装了scala插件,只是版本不同,需要更换而已
1. 下载scala
File -> Project Structure -> Global Libraries -> 点击左上角“+” ->
Scala SDK -> 点击Download ->选择自己想要的版本下载(可能要一会,不
过下载的也就那几个文件)
2. 更换版本
File -> Project Structure -> Global Libraries ->
选择下载后的scala -> 右击选中,删除之前下载的scala
注意:这里一定要把之前版本删除了,包括Libraries里的和Global Libraries里的,我这里之前的没删,又加载了后面下的scala插件,结果import org.apache.spark.{SparkConf,SparkContext}不成功,后来清除干净,退出重进好了
Libraries里的删除同理一样
添加新的scala插件
File -> Project Strcuture -> Libraries -> 点击左上角“+” -> Scala SDK
-> 选择对应版本 ->点击OK
3.更改pom.xml里scala版本
<properties><scala.version>2.12.10</scala.version></properties><dependencies><!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core --><dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_2.12</artifactId><version>3.0.1</version></dependency></dependencies>
spark-core插件版本获取见:https://mvnrepository.com/search?q=spark-core
输入spark-core ,点击第一个Spark Project Score,点击对应版本,复制Maven里面的内容到pom.xml里
总结的可能不到位,只是个人实验过程中遇到的问题
参考
Exception in thread “main” java.lang.NoSuchMethodError: scala.Predef$
idea运行的时候出现的问题Exception in thread “main” java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$
虽然这个是windows下的Spark集群,但是解决问题的方法都是异曲同工
Windows下IDEA运行scala版本的spark程序(踩坑总结)
Exception in thread “main“ java.lang.NoSuchMethodError: scala.reflect.ClassT相关推荐
- Exception in thread “main“ java.lang.NoSuchMethodError: scala.Predef$
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$ (我这里是idea + spark + ...
- IDEA 本地调试spark程序 Exception in thread main java.lang.NoSuchMethodError: scala.collection.immutable.
1.很简单的一测试程序: 2.run运行时:出现ERROR,报错行显示在 new SparkContext 这行. val sc = new SparkContext(conf) Exception ...
- Spark启动错误Exception in thread “main” java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$
1 错误 [error] (run-main-0) java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty() ...
- Exception in thread main java.lang.NoSuchMethodError: scala.Predef$
使用intelli idea +scala+spark,运行程序代码如下: package cn.limbo.sparkimport org.apache.spark.SparkConf import ...
- Exception in thread “main“ java.lang.NoSuchMethodError: scala.collection.mut
scala版本不一致,采用maven中spark自带版本即可.
- Exception in thread main java.lang.NoSuchMethodError: scala.Predef$.$conforms()Lscala/Predef$$less
网上有两种说法:依赖冲突(conflicts of dependencies)以及多版本的Scala(likely have multiple major versions of scala that ...
- Exception in thread main java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)
其实这个错误就是编译的程序的scala版本和提交时的版本不一致导致的. 我是在idea上写的scala程序 用的是2.10.5, 但是在提交spark时 忽然发现spark用的是2.11.12 所 ...
- Exception in thread main java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty()L
Scala 的版本与 Spark版本不匹配 博主用的是 Spark 1.5.1 之前装的 Scala 2.11.0 ,运行示例SparkPi出现上述错误. 改用Scala 2.10.6 ,问题解决了.
- Exception in thread main java.lang.NoSuchMethodError
Exception in thread "main" java.lang.NoSuchMethodError: scala.Product.initinitinit(Lscala/ ...
最新文章
- html文件如何放到服务器上_对网盘泄露说不,自己数据放到自己服务器上,用群辉搭建个人网盘...
- 小米宣布将停止MIUI全球Beta测试计划
- python写tcp通信程序_一个简单的基于TCP通信的服务器端与客户端程序
- 会议通知|2019暑期全国高校Python数据分析与实训课程高级研修班
- SVM支持向量机通俗导论(理解SVM的三层境界)
- shell——按指定列排序
- M1芯片CAD如何安装?M1 mac怎么安装AutoCAD?
- 斐讯K3C官改V1.7D降级至官改V1.6
- html怎么创建表格,html怎么做表格
- 如何用计算机函数计算房租,Excel商铺租金模板,租金每两年递增5%,具备收租期、租赁起止期、单价函数自动计算功能...
- 移动MM 支付SDK遇到的问题
- SAP 用户菜单如何更直观整洁
- Linux--进程与任务管理(查看和控制进程及计划任务管理)
- Python 爬虫十六式 - 第七式:RE:用匹配来演绎编程的艺术
- 3-OpenCL快速入门教程
- bark 自建服务器,自建iOS消息推送服务Bark
- (2021.4.12)Japan to announce FuKushima water release into sea soon
- 有关血型的限制级秘密 (A型)
- MYSQL获取当前时间、前一天时间,前一个月时间
- 2、禅道数据看板(django+vue)