如何在Eclipse中使用Maven工程连接远程的Spark

本地Spark跑不会出现什么问题,但是切换到服务器上各种问题。

异常

java.lang.ClassCastException: cannot assign instance of java.lang.invoke.SerializedLambda to field

org.apache.spark.api.java.JavaRDDLike$$anonfun$fn$1$1.f$3 of type

org.apache.spark.api.java.function.FlatMapFunction in instance of

org.apache.spark.api.java.JavaRDDLike$$anonfun$fn$1$1

修改pom.xml文件

在project中添加下方xml,然后右击项目执行-> Run as -> maven claen && maven install

 org.apache.maven.plugins  maven-compiler-plugin  3.11.81.8  maven-assembly-plugin  jar-with-dependenciesmake-assemblypackagesingle

添加jars路径

 String jarPath = "打包成功之后的项目jar文件" JavaSparkContext jsc = new JavaSparkContext(new SparkConf() .setMaster("spark://服务器地址:端口") .setJars(new String[] {jarPath}) .setAppName("Classification"));

然后在执行

连接maven_如何在Eclipse中使用Maven工程连接远程的Spark相关推荐

  1. Maven学习记录之maven基本操作命令,maven本地工厂的创建,maven骨架的生成,以及在eclipse中创建maven工程:...

    摘要:今天又学习了一下maven,之前是下载并安装和配置好了maven的环境,今天主要学习的内容包括:maven本地工厂的创建,maven骨架的生成命令,maven在dos下创建maven工程,以及在 ...

  2. Maven学习(四)————Eclipse 中的 Maven 工程

    引言 创建一个 Maven 版 Hello World. 一.Eclipse 中 Maven 插件的准备工作 除了 JDK 和必须的 Eclipse 之外,还需要在 Eclipse 中设置Maven ...

  3. 【MAVEN】如何在Eclipse中创建MAVEN项目

    目录结构: contents structure [+] 1,Maven简介 2,Maven安装 2.1,下载Maven 2.2,配置环境变量 2.3,测试 3,Maven仓库 3.1,Maven仓库 ...

  4. 在eclipse中搭建maven工程(第二种方法)

    第一种方法见前面的博客 用Maven创建web项目(详细步骤) maven-3.3.9 下载之后就是配置环境变量,可以去百度一哈,用MAVEN_HOME配置,我图方便,直接在用户的path配置的. 接 ...

  5. 转:在eclipse中搭建maven工程(第二种方法)

    转自 : https://blog.csdn.net/bug_moving/article/details/54178092: 第一种方法见前面的博客 用Maven创建web项目(详细步骤) mave ...

  6. 如何在eclipse中导入java工程文件和java源代码文件

    一.如何在eclipse中导入工程文件 1.File-->Import 2.General下拉,点一下Existing Projects into Workspace,再点Next 3.点Bro ...

  7. maven设置从本地读_如何在Eclipse中更改Maven本地存储库

    通常,这些回答了以下问题:如何更改用户设置文件? 但是我想回答的问题是如何更改本地Maven存储库位置. 答案是您必须编辑settings.xml. 如果文件不存在,则必须创建它. 您可以在窗口> ...

  8. eclipse 中创建maven工程问题(常见)

    1.创建maven 工程的时候 Failed to read artifact descriptor for org.apache.maven.plugins:maven-resources-plug ...

  9. Maven的Pom文件 ( Eclipse中创建Maven工程, 使用注意点,DevOps相关)

    ■POM Eclipse 使用注意点 修改POM之后 step1:右键点击工程,Maven,プロジェクトの更新 (project 更新) step2:点击 [プロジェクト](project )⇒[すべ ...

最新文章

  1. 文曲星猜数游戏,无测试代码
  2. C++中调用DLL中的函数的两种方式
  3. [导入]C++ GUi 选择
  4. linux下su和sudo的区别 (/libtool: arm-linux-gcc command not found )
  5. 谨慎使用Hibernate中的本机SQL
  6. Weblogic的classpath设置
  7. 机器学习速成课程 | 练习 | Google Development——编程练习:(TensorFlow) Hello World
  8. 【UI插件】开发一个简单日历插件(上)
  9. javascript 本地存储(cookies、sessionStorage和localStorage解释及区别)
  10. 黑幕背后的Autorelease
  11. Win10在使用setuna2时,启动截屏后屏幕会放大的问题。
  12. python DEA: by-product NDDF DEA模型
  13. MATLAB 去除图例legend外边框
  14. CentOS6.7 SSH安装与配置
  15. BestCoder Round #16
  16. DeepMind AlphaStar星际争霸2首秀:Demo很强大,但现场比赛输了
  17. 解决vue3-print-nb打印二维码定位(qrcode.vue) 问题
  18. 【问题】连接mysql报错errorCode 0, state 08S01
  19. 51nod 2589 快速讨伐
  20. 用搜狗输入法原样输出10的若干次方

热门文章

  1. halcon Bit图位像素处理算子,持续更新
  2. 浅谈ROS操作系统及其应用趋势
  3. 【pyqt5学习】——graphicView显示opencv图像
  4. Pytorch基础(八)——正则化
  5. stdout标准输出、stderr标准错误输出 标准输入、标准输出、标准错误输出分别被定义为0、1、2。
  6. python中memoryerror_解决python报错MemoryError
  7. wp网站链接不带html,解决WordPress网站带与不带WWW网址跳转问题
  8. Session会话技术
  9. MySQL源码包编译安装
  10. LeetCode 299. Bulls and Cows