连接maven_如何在Eclipse中使用Maven工程连接远程的Spark
![](/assets/blank.gif)
如何在Eclipse中使用Maven工程连接远程的Spark
本地Spark跑不会出现什么问题,但是切换到服务器上各种问题。
异常
java.lang.ClassCastException: cannot assign instance of java.lang.invoke.SerializedLambda to field
org.apache.spark.api.java.JavaRDDLike$$anonfun$fn$1$1.f$3 of type
org.apache.spark.api.java.function.FlatMapFunction in instance of
org.apache.spark.api.java.JavaRDDLike$$anonfun$fn$1$1
修改pom.xml文件
在project中添加下方xml,然后右击项目执行-> Run as -> maven claen && maven install
org.apache.maven.plugins maven-compiler-plugin 3.11.81.8 maven-assembly-plugin jar-with-dependenciesmake-assemblypackagesingle
添加jars路径
String jarPath = "打包成功之后的项目jar文件" JavaSparkContext jsc = new JavaSparkContext(new SparkConf() .setMaster("spark://服务器地址:端口") .setJars(new String[] {jarPath}) .setAppName("Classification"));
然后在执行
连接maven_如何在Eclipse中使用Maven工程连接远程的Spark相关推荐
- Maven学习记录之maven基本操作命令,maven本地工厂的创建,maven骨架的生成,以及在eclipse中创建maven工程:...
摘要:今天又学习了一下maven,之前是下载并安装和配置好了maven的环境,今天主要学习的内容包括:maven本地工厂的创建,maven骨架的生成命令,maven在dos下创建maven工程,以及在 ...
- Maven学习(四)————Eclipse 中的 Maven 工程
引言 创建一个 Maven 版 Hello World. 一.Eclipse 中 Maven 插件的准备工作 除了 JDK 和必须的 Eclipse 之外,还需要在 Eclipse 中设置Maven ...
- 【MAVEN】如何在Eclipse中创建MAVEN项目
目录结构: contents structure [+] 1,Maven简介 2,Maven安装 2.1,下载Maven 2.2,配置环境变量 2.3,测试 3,Maven仓库 3.1,Maven仓库 ...
- 在eclipse中搭建maven工程(第二种方法)
第一种方法见前面的博客 用Maven创建web项目(详细步骤) maven-3.3.9 下载之后就是配置环境变量,可以去百度一哈,用MAVEN_HOME配置,我图方便,直接在用户的path配置的. 接 ...
- 转:在eclipse中搭建maven工程(第二种方法)
转自 : https://blog.csdn.net/bug_moving/article/details/54178092: 第一种方法见前面的博客 用Maven创建web项目(详细步骤) mave ...
- 如何在eclipse中导入java工程文件和java源代码文件
一.如何在eclipse中导入工程文件 1.File-->Import 2.General下拉,点一下Existing Projects into Workspace,再点Next 3.点Bro ...
- maven设置从本地读_如何在Eclipse中更改Maven本地存储库
通常,这些回答了以下问题:如何更改用户设置文件? 但是我想回答的问题是如何更改本地Maven存储库位置. 答案是您必须编辑settings.xml. 如果文件不存在,则必须创建它. 您可以在窗口> ...
- eclipse 中创建maven工程问题(常见)
1.创建maven 工程的时候 Failed to read artifact descriptor for org.apache.maven.plugins:maven-resources-plug ...
- Maven的Pom文件 ( Eclipse中创建Maven工程, 使用注意点,DevOps相关)
■POM Eclipse 使用注意点 修改POM之后 step1:右键点击工程,Maven,プロジェクトの更新 (project 更新) step2:点击 [プロジェクト](project )⇒[すべ ...
最新文章
- 文曲星猜数游戏,无测试代码
- C++中调用DLL中的函数的两种方式
- [导入]C++ GUi 选择
- linux下su和sudo的区别 (/libtool: arm-linux-gcc command not found )
- 谨慎使用Hibernate中的本机SQL
- Weblogic的classpath设置
- 机器学习速成课程 | 练习 | Google Development——编程练习:(TensorFlow) Hello World
- 【UI插件】开发一个简单日历插件(上)
- javascript 本地存储(cookies、sessionStorage和localStorage解释及区别)
- 黑幕背后的Autorelease
- Win10在使用setuna2时,启动截屏后屏幕会放大的问题。
- python DEA: by-product NDDF DEA模型
- MATLAB 去除图例legend外边框
- CentOS6.7 SSH安装与配置
- BestCoder Round #16
- DeepMind AlphaStar星际争霸2首秀:Demo很强大,但现场比赛输了
- 解决vue3-print-nb打印二维码定位(qrcode.vue) 问题
- 【问题】连接mysql报错errorCode 0, state 08S01
- 51nod 2589 快速讨伐
- 用搜狗输入法原样输出10的若干次方