连接maven_如何在Eclipse中使用Maven工程连接远程的Spark
![](/assets/blank.gif)
如何在Eclipse中使用Maven工程连接远程的Spark
本地Spark跑不会出现什么问题,但是切换到服务器上各种问题。
异常
java.lang.ClassCastException: cannot assign instance of java.lang.invoke.SerializedLambda to field
org.apache.spark.api.java.JavaRDDLike$$anonfun$fn$1$1.f$3 of type
org.apache.spark.api.java.function.FlatMapFunction in instance of
org.apache.spark.api.java.JavaRDDLike$$anonfun$fn$1$1
修改pom.xml文件
在project中添加下方xml,然后右击项目执行-> Run as -> maven claen && maven install
org.apache.maven.plugins maven-compiler-plugin 3.11.81.8 maven-assembly-plugin jar-with-dependenciesmake-assemblypackagesingle
添加jars路径
String jarPath = "打包成功之后的项目jar文件" JavaSparkContext jsc = new JavaSparkContext(new SparkConf() .setMaster("spark://服务器地址:端口") .setJars(new String[] {jarPath}) .setAppName("Classification"));
然后在执行
连接maven_如何在Eclipse中使用Maven工程连接远程的Spark相关推荐
- Maven学习记录之maven基本操作命令,maven本地工厂的创建,maven骨架的生成,以及在eclipse中创建maven工程:...
摘要:今天又学习了一下maven,之前是下载并安装和配置好了maven的环境,今天主要学习的内容包括:maven本地工厂的创建,maven骨架的生成命令,maven在dos下创建maven工程,以及在 ...
- Maven学习(四)————Eclipse 中的 Maven 工程
引言 创建一个 Maven 版 Hello World. 一.Eclipse 中 Maven 插件的准备工作 除了 JDK 和必须的 Eclipse 之外,还需要在 Eclipse 中设置Maven ...
- 【MAVEN】如何在Eclipse中创建MAVEN项目
目录结构: contents structure [+] 1,Maven简介 2,Maven安装 2.1,下载Maven 2.2,配置环境变量 2.3,测试 3,Maven仓库 3.1,Maven仓库 ...
- 在eclipse中搭建maven工程(第二种方法)
第一种方法见前面的博客 用Maven创建web项目(详细步骤) maven-3.3.9 下载之后就是配置环境变量,可以去百度一哈,用MAVEN_HOME配置,我图方便,直接在用户的path配置的. 接 ...
- 转:在eclipse中搭建maven工程(第二种方法)
转自 : https://blog.csdn.net/bug_moving/article/details/54178092: 第一种方法见前面的博客 用Maven创建web项目(详细步骤) mave ...
- 如何在eclipse中导入java工程文件和java源代码文件
一.如何在eclipse中导入工程文件 1.File-->Import 2.General下拉,点一下Existing Projects into Workspace,再点Next 3.点Bro ...
- maven设置从本地读_如何在Eclipse中更改Maven本地存储库
通常,这些回答了以下问题:如何更改用户设置文件? 但是我想回答的问题是如何更改本地Maven存储库位置. 答案是您必须编辑settings.xml. 如果文件不存在,则必须创建它. 您可以在窗口> ...
- eclipse 中创建maven工程问题(常见)
1.创建maven 工程的时候 Failed to read artifact descriptor for org.apache.maven.plugins:maven-resources-plug ...
- Maven的Pom文件 ( Eclipse中创建Maven工程, 使用注意点,DevOps相关)
■POM Eclipse 使用注意点 修改POM之后 step1:右键点击工程,Maven,プロジェクトの更新 (project 更新) step2:点击 [プロジェクト](project )⇒[すべ ...
最新文章
- Vivado IP的两种综合方式:Global 和 Out-Of-Context
- XVI Open Cup named after E.V. Pankratiev. GP of Ekaterinburg
- Quartus ii与Modelsim-altera 6.5b联调前仿真
- 无法激活安全认证服务
- plugin since you are using Gradle version 4.6 or above
- ruby中!!_Ruby反向! 功能
- 比特大爆炸为啥老显示服务器满,《有可能是史上最长停服维护公告》
- GridViewObjectDataSource新特性小记 懒人篇(一) 分页上路
- 双重认证 也不安全:Gmail、Yahoo mail 已被攻破!
- bzoj1003 [ZJOI2006]物流运输
- EXCEL同一个界面下打开两个表格比较
- SQL SERVER 2012/2014 序列号密钥
- 用具有差分AD输入的单片机测电阻值(电阻分压法)
- Ubuntu扩展磁盘内存
- 青囊如可授 从此访鸿蒙的意思,《坛滴槐花露,香飘柏子风。》
- lumion渲染太慢、卡顿怎么办?分享3个加快渲染的小技巧
- 模型及贴图的细节及优化
- 如何查看xshell保存的密码
- 合并的表格怎么加横线_word
- deployer部署_使用Deployer轻松部署PHP应用程序
热门文章
- Calibration校准halcon算子,持续更新
- oracle 9.2.0.2,在RedHat enterprise server 3 安装oracle9i 2.0.0.1 并升级到9.2.0.6
- g menu i meun_长沙话读“这里”,到底是阁(gó)里还是该(gái)里
- java 程序执行后 强制gc_GC 设计与停顿
- c++ lambda函数_C++11 之 lambda函数的详细使用
- 金蝶系统服务器要求,金蝶服务器安装及其相关要求.doc
- 新闻网大数据实时分析可视化系统项目——7、Kafka分布式集群部署
- 面试的问题 及回答
- 使用localstorage来存储页面信息
- 高德地图AmapSDKDemo运行