如何在Eclipse中使用Maven工程连接远程的Spark

本地Spark跑不会出现什么问题,但是切换到服务器上各种问题。

异常

java.lang.ClassCastException: cannot assign instance of java.lang.invoke.SerializedLambda to field

org.apache.spark.api.java.JavaRDDLike$$anonfun$fn$1$1.f$3 of type

org.apache.spark.api.java.function.FlatMapFunction in instance of

org.apache.spark.api.java.JavaRDDLike$$anonfun$fn$1$1

修改pom.xml文件

在project中添加下方xml,然后右击项目执行-> Run as -> maven claen && maven install

 org.apache.maven.plugins  maven-compiler-plugin  3.11.81.8  maven-assembly-plugin  jar-with-dependenciesmake-assemblypackagesingle

添加jars路径

 String jarPath = "打包成功之后的项目jar文件" JavaSparkContext jsc = new JavaSparkContext(new SparkConf() .setMaster("spark://服务器地址:端口") .setJars(new String[] {jarPath}) .setAppName("Classification"));

然后在执行

连接maven_如何在Eclipse中使用Maven工程连接远程的Spark相关推荐

  1. Maven学习记录之maven基本操作命令,maven本地工厂的创建,maven骨架的生成,以及在eclipse中创建maven工程:...

    摘要:今天又学习了一下maven,之前是下载并安装和配置好了maven的环境,今天主要学习的内容包括:maven本地工厂的创建,maven骨架的生成命令,maven在dos下创建maven工程,以及在 ...

  2. Maven学习(四)————Eclipse 中的 Maven 工程

    引言 创建一个 Maven 版 Hello World. 一.Eclipse 中 Maven 插件的准备工作 除了 JDK 和必须的 Eclipse 之外,还需要在 Eclipse 中设置Maven ...

  3. 【MAVEN】如何在Eclipse中创建MAVEN项目

    目录结构: contents structure [+] 1,Maven简介 2,Maven安装 2.1,下载Maven 2.2,配置环境变量 2.3,测试 3,Maven仓库 3.1,Maven仓库 ...

  4. 在eclipse中搭建maven工程(第二种方法)

    第一种方法见前面的博客 用Maven创建web项目(详细步骤) maven-3.3.9 下载之后就是配置环境变量,可以去百度一哈,用MAVEN_HOME配置,我图方便,直接在用户的path配置的. 接 ...

  5. 转:在eclipse中搭建maven工程(第二种方法)

    转自 : https://blog.csdn.net/bug_moving/article/details/54178092: 第一种方法见前面的博客 用Maven创建web项目(详细步骤) mave ...

  6. 如何在eclipse中导入java工程文件和java源代码文件

    一.如何在eclipse中导入工程文件 1.File-->Import 2.General下拉,点一下Existing Projects into Workspace,再点Next 3.点Bro ...

  7. maven设置从本地读_如何在Eclipse中更改Maven本地存储库

    通常,这些回答了以下问题:如何更改用户设置文件? 但是我想回答的问题是如何更改本地Maven存储库位置. 答案是您必须编辑settings.xml. 如果文件不存在,则必须创建它. 您可以在窗口> ...

  8. eclipse 中创建maven工程问题(常见)

    1.创建maven 工程的时候 Failed to read artifact descriptor for org.apache.maven.plugins:maven-resources-plug ...

  9. Maven的Pom文件 ( Eclipse中创建Maven工程, 使用注意点,DevOps相关)

    ■POM Eclipse 使用注意点 修改POM之后 step1:右键点击工程,Maven,プロジェクトの更新 (project 更新) step2:点击 [プロジェクト](project )⇒[すべ ...

最新文章

  1. Vivado IP的两种综合方式:Global 和 Out-Of-Context
  2. XVI Open Cup named after E.V. Pankratiev. GP of Ekaterinburg
  3. Quartus ii与Modelsim-altera 6.5b联调前仿真
  4. 无法激活安全认证服务
  5. plugin since you are using Gradle version 4.6 or above
  6. ruby中!!_Ruby反向! 功能
  7. 比特大爆炸为啥老显示服务器满,《有可能是史上最长停服维护公告》
  8. GridViewObjectDataSource新特性小记 懒人篇(一) 分页上路
  9. 双重认证 也不安全:Gmail、Yahoo mail 已被攻破!
  10. bzoj1003 [ZJOI2006]物流运输
  11. EXCEL同一个界面下打开两个表格比较
  12. SQL SERVER 2012/2014 序列号密钥
  13. 用具有差分AD输入的单片机测电阻值(电阻分压法)
  14. Ubuntu扩展磁盘内存
  15. 青囊如可授 从此访鸿蒙的意思,《坛滴槐花露,香飘柏子风。》
  16. lumion渲染太慢、卡顿怎么办?分享3个加快渲染的小技巧
  17. 模型及贴图的细节及优化
  18. 如何查看xshell保存的密码
  19. 合并的表格怎么加横线_word
  20. deployer部署_使用Deployer轻松部署PHP应用程序

热门文章

  1. Calibration校准halcon算子,持续更新
  2. oracle 9.2.0.2,在RedHat enterprise server 3 安装oracle9i 2.0.0.1 并升级到9.2.0.6
  3. g menu i meun_长沙话读“这里”,到底是阁(gó)里还是该(gái)里
  4. java 程序执行后 强制gc_GC 设计与停顿
  5. c++ lambda函数_C++11 之 lambda函数的详细使用
  6. 金蝶系统服务器要求,金蝶服务器安装及其相关要求.doc
  7. 新闻网大数据实时分析可视化系统项目——7、Kafka分布式集群部署
  8. 面试的问题 及回答
  9. 使用localstorage来存储页面信息
  10. 高德地图AmapSDKDemo运行