基于IDEA使用Spark API开放Spark程序（1）
2.基于IDEA使用Spark API开放Spark程序（1）
创建一个Scala IDEA工程：
我们使用Non-SBT的方式，点击“Next”：
把工程命名一下，其它的按照默认：
点击“Finish”完成工程的创建：
修改项目的属性：
首先修改Modules选项：
在src下创建两个文件夹，并把其属性改为source：
2.基于IDEA使用Spark API开放Spark程序（2）
下面修改Libraries：
因为要开发Spark程序，所以需要把Spark的开发需要的jar包导进来：
加入后：
导入包完成后，在工程的scala下面创建一个package：
创建一个Object对象：
完成初始类的创建：
首先构建Spark Driver的模板代码：
2.基于IDEA使用Spark API开放Spark程序（3）
该程序是对前面的搜狗日志的处理代码，只不过这个时候在IDEA中编写而已。
接下来进行打包，使用Project Structure的Artifacts：
使用From modules with dependencies：
选择Main Class：
点击“OK”:
2.基于IDEA使用Spark API开放Spark程序（4）
把名称改为FirstSparkAppJar：
因为每台机器上都安装了Scala和Spark，所以可以把Scala和Spark相关的jar文件都删除掉：
接下来进行Build：
选择“Build Artifacts”：
第一次是选择Build，以后同一个工程要选择Rebuild，然后等待编译完成：
进入其编译后目录查看编译完成的文件：
接下来使用spark-submit运行该程序：
此时查看控制台：
最后运行完成任务：
我们到HDFS控制台查看运行结果：
进入SogouQResult文件夹：
查看执行结果：
这个内容和我们前面完全spark-shell的执行时一样的。
基于IDEA使用Spark API开放Spark程序（1）相关推荐
- libvirt 用c语言编译,基于C语言libvirt API简单小程序
libvirt API简单小程序 1.程序代码如下 #include #include int getDomainInfo(int id) { virConnectPtr conn = NULL; v ...
- Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01
2019独角兽企业重金招聘Python工程师标准>>> 创建一个Scala IDEA工程: 点击"Next": 点击"Finish"完成工程的 ...
- python调用lib_基于python调用libvirt API
基于python调用libvirt API 1.程序代码 #!/usr/bin/python import libvirt import sys def createConnection(): con ...
- 如何使用Kafka API入门Spark流和MapR流
这篇文章将帮助您开始使用Apache Spark Streaming通过MapR Streams和Kafka API消费和发布消息. Spark Streaming是核心Spark API的扩展,可实 ...
- spark和kafka_如何使用Kafka API入门Spark流和MapR流
spark和kafka 这篇文章将帮助您开始使用Apache Spark Streaming通过MapR Streams和Kafka API消费和发布消息. Spark Streaming是核心Spa ...
- 你也可以玩转Skype -- 基于Skype API开发外壳程序入门
原文:你也可以玩转Skype -- 基于Skype API开发外壳程序入门 Skype是目前这个星球上最厉害的IM+VOIP软件,Skype现在已经改变了全球2.8亿人的生活方式.你,值得拥有! :) ...
- Spark Standalone模式应用程序开发
一.Scala版本: 程序如下: package scala import org.apache.spark.SparkContext import org.apache.spark.SparkCon ...
- spark java 计数_spark程序——统计包含字符a或者b的行数
本篇分析一个spark例子程序. 程序实现的功能是:分别统计包含字符a.b的行数. java源码如下: package sparkTest; import org.apache.spark.Spark ...
- 基于 NVIDIA GPU 和 RAPIDS 加速 Spark 3.0
导读:今天给大家分享的主题是基于NVIDIA GPU和RAPIDS加速Apache Spark 3.0,首先会介绍Apache Spark的RAPIDS加速器及工作原理,然后分享我们对于Shuffle ...
- 新浪微博开发平台基于php的sdk包(包含demo程序),新浪微博API开发教程(一)-体验篇...
现在新浪微博开放平台(http://open.weibo.com)非常火啊,所以...,你懂的! 首先,想要开发新浪微博API,你就必须获取APP KEY和APP SECRET,我毫不犹豫的就用新浪微 ...
最新文章
- ARCGIS中某字段递增赋值
- 简单明了，一文入门视觉SLAM
- 15 年工龄的资深技术专家职场历程自述
- python的用途实例-python assert的用处示例详解
- 《算法竞赛进阶指南》打卡-基本算法-AcWing 92. 递归实现指数型枚举：递推与递归、二进制状态压缩、dfs
- 工业用微型计算机笔记(4)～编码，寄存器，引脚
- UI设计干货素材|如何正确使用直观打折数字使画面更饱满更具促销感！
- XPath 基本语法
- 初中节点法分析电路_初三物理电路图解题思路：电路简化原理
- CSRF跨站请求伪造漏洞修复方案
- Smartdrv程序有什么作用
- iOS屏幕旋转与锁屏
- Jquery 模板插件 jquery.tmpl.js 的使用方法(1):基本语法，绑定,each循环，ajax获取json数据...
- 魅族的云相册能克隆到华为手机吗_魅族云服务如何导出导入 换手机flyme云导出相册...
- 【学术】如何长时间高效学习
- 小张初识c语言的成长经历NO.1
- 2018 Android面经分享（京东，百度，陌陌，58到家等知名公司）
- 牛客网赛码网输入输出总结（python版）
- 灰色关联度矩阵--基于Matlab
- jQuery学习－基本使用