使用IDEA运行Spark程序
使用IDEA运行Spark程序
1.安装IDEA
从IDEA官网下载Community版本,解压到/usr/local/idea目录下。
tar –xzf ideaIC-13.1.4b.tar.gz
mv idea-IC-135.1230/ /usr/local/idea
为了方便使用其bin目录下的命令,把它配置在“/etc/profile”目录下。
export PATH=$PATH:/usr/local/idea/ idea-IC-135.1230/bin
2.安装Scala插件
1. 在终端输入idea.sh进入如下界面:
2. 点击”Configure”进入IDEA的配置界面:
3. 选择“Plugins”,进入插件安装界面:
4. 点击左下角的“Install JetBrains plugin”选项进入如下界面在左上方的输入框输入“scala”来查找scala插件,点击右侧的“Install plugin”开始下载插件:
5. 安装完后重启IDEA:
3.使用scala SBT工程
1. 重启之后进入如下界面,选择“Create New Project”,选择左侧列表中的“Scala”选项,为了方便以后的开发,选择右侧的“SBT”选项:
2. 设置scala工程的名称和目录,点击Finish:
3. 此时发现没有设置Java的JDK路径,点击进入ProjectStructure目录,点击New,选择JDK路径后,关闭后重新打开项目:
4. 此时IDEA会智能的帮助我们构建SBT工具,IDEA自动完成SBT工具的安装需要一段时间(1-2分钟),SBT会自动帮我们建好一些目录:
5. 点击src下的main下的scala在弹出的“New”下选择“Scala Class,输入文件名称并选择类型:
6. 写入代码:
7. 右击代码区点击运行,第一次运行scala程序会有点缓慢:
8. 运行的结果如下:
4.搭建Spark运行环境
1.导入Spark的包,依次点击File -> Project Structure ->Libraries ->点击“+”号 ->选择Java -> 选择spark lib目录下的assembly包
IDEA工作完后发现Spark的jar包导入到我们的工程中
5.运行Spark程序
1.我们这里采用standalone模式运行wordcount作代码演示。数据从hdfs读取,代码如下。
2. 下面描述如何打jar包:
配置路径和包名
之后便可在集群上运行spark程序。
注:每次修改代码后都要rebuild jar包。
转载于:https://www.cnblogs.com/wuwuwu/p/6162616.html
使用IDEA运行Spark程序相关推荐
- 《循序渐进学Spark》一1.6 使用Spark Shell开发运行Spark程序
本节书摘来自华章出版社<循序渐进学Spark>一书中的第1章,第1.6节,作者 小象学院 杨 磊,更多章节内容可以访问云栖社区"华章计算机"公众号查看. 1.6 使用S ...
- 使用Spark Shell开发运行Spark程序
使用Spark Shell开发运行Spark程序 Spark Shell是一种学习API的简单途径,也是分析数据集交互的有力工具. 虽然本章还没涉及Spark的具体技术细节,但从总体上说, Spark ...
- DolphiScheduler平台上运行spark程序时,外部参数设置
DolphiScheduler平台上运行spark程序时,外部参数设置 近期使用DS平台执行spark程序,遇到了部分参数设置的问题,代码中需要外部传入一个参数procDate(处理日期),具体设置如 ...
- 如何运行Spark程序
[hxsyl@CentOSMaster spark-2.0.2-bin-hadoop2.6]# ./bin/spark-submit --class org.apache.spark.examples ...
- Eclipse运行Spark程序报错No FileSystem for scheme: hdfs
场景:通过spark程序读取hdfs文件. 错误: Exception in thread "main" java.io.IOException: No FileSystem fo ...
- 在Windows上运行Spark程序
一.下载Saprk程序 https://d3kbcqa49mib13.cloudfront.net/spark-2.1.1-bin-hadoop2.7.tgz 解压到d:\spark-2.1.1-bi ...
- idea运行spark程序报错scalac: Error: illegal cyclic inheritance involving trait Iterable
执行一个spark的scala写的类,报错 scalac: Error: illegal cyclic inheritance involving trait Iterable scala.refle ...
- spark程序运行异常:java.lang.OutOfMemoryError: GC overhead limit exceeded
此次异常是在集群上运行的spark程序日志中发现的.由于这个异常导致sparkcontext被终止,以致于任务失败: 出现的一些原因 参考:GC overhead limit exceeded jav ...
- IDEA+scala+spark程序开发流程
1. 新建JAVA工程 2. 设置scala SDK File -> Project Struction -> Libraries -> +; 添加Scala SDK.如果没有配置过 ...
最新文章
- 成功解决TypeError: map() got an unexpected keyword argument 'num_threads'
- linux进去网卡,Linux上使用socket进行网卡抓包
- python cv2 matchtemplate_OpenCV-Python系列十:模板匹配
- ORA-29861: 域索引标记为 LOADING/FAILED/UNUSABLE
- 一个调用其他activity的完整例子,使用了 onActivityResult和startActivityForResult
- Mybatis 拦截器
- 【转】Beagleboard:BeagleBoneBlack
- Win7系统提示NVIDIA显示设置不可用怎么办
- P1009 [NOIP1998 普及组] 阶乘之和-2022.02.01(python3实现)
- 一种通用的动作解决方案
- 一个简单的BP神经网络matlab程序(附函数详解)
- matlab版VLFeat安装
- excel文件损坏修复绝招_高手都在用的PDF转换PPT、WORD、EXCEL工具
- jtopo 比例尺功能
- AARRR模型——变现:终极目标(上)
- easy connect无法卸载干净,后台sangfor文件一直在运行的卸载方法
- 优酷搞笑--万万没想到--台词
- 【Android Gradle 插件】Splits 配置 ④ ( Splits#language{} 脚本块配置 | 根据语言进行分包 | LanguageSplitOptions 配置简介 )
- Sun工作站Solaris系统设置双屏显示
- php html5定位,HTML HTML5 地理定位 - 闪电教程JSRUN
热门文章
- 如果我要...(研究版)
- JAVA基础知识(4)
- partial in latex
- 坐火车一定要带身份证
- 苏州的高铁旅游的基本调查
- Java springcloud B2B2C o2o多用户商城 springcloud架构 (二十二)创建含有多module的springboot工程...
- pytest集成Allure Report
- 免费OA系统品牌有那些?
- *.zip、*.tar、*.tar.gz、*.tar.bz2、*.tar.xz、*.jar、*.7z
- sql已经完成,生成表