Spark学习之第一个程序打包、提交任务到集群
1、免秘钥登录配置:
ssh-keygen cd .ssh touch authorized_keys cat id_rsa.pub > authorized_keys chmod 600 authorized_keys
2、环境工具
2.1环境
系统 urbuntu jdk 1.7.0_79
scala 2.10.4
hadoop 2.6.0
spark 1.6.2
2.2打包工具
IDEA + sbt1.2打包工具
3.打包
3.1安装插件
需要预先安装scala插件,点击File ->Setting ->Plugins ->输入框输入scala->install
安装完成需要重启IDE
3.2创建项目
File -> New Project ->Scala -> SBT 选择相应版本 ->finish
3.3编写代码
build.sbt 添加spark相关依赖
name := "demoPro"version := "1.0"scalaVersion := "2.10.4"libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "1.6.2"
创建WordCount.scala,编写如下代码
import org.apache.spark.{SparkContext, SparkConf}/*** Created by Administrator on 2018/2/20.*/ object WordCount {def main(args: Array[String]) {val conf = new SparkConf().setAppName("wordcount")val sc = new SparkContext(conf)val input = sc.textFile("/home/dell/helloSpark.txt")val lines = input.flatMap(line => (line.split(" ")))val count = lines.map(word => (word, 1)).reduceByKey { case (x, y) => x + y }val output=count.saveAsTextFile("/home/dell/helloSparkRes")} }
3.4打包
File -> Project Structure -> Aritifacts -> 点击+号 ->jar -> 第二个 -> 指定Module和 MainClass -> JAR files from libraries 选择第二个 ->点击ok
主题栏点击Build -> Build Aritifacts - Build
在工程目下out目录中生成相应jar包即打包成功
4.提交任务
4.1启动hadoop
#进入sbin目录
cd $Hadoop_HOME/sbin
#启动hadoop集群 start-all.sh
4.2上传测试文件到hdfs
hadoop fs -put test.txt /test/test.txt
4.3上传程序jar包
是同filelize 或者sftp 或者 rz -y命令上传程序jar
4.4 提交任务
4.4.1启动Master
sudo ./start-master.sh
访问localhost:8080 获取spark://xxx:7077
4.4.2启动Worker
sudo ./bin/spark-class org.apache.spark.deploy.worker.Worker spark://dell:7077
4.4.3提交作业
sudo ./bin/spark-submit --master spark://dell:7077 --class WordCount /home/dell/demopro.jar
显示如图:
5、查看测试程序是否正确
5.1、查看 是否生成文件夹 进入文件查看程序是否正确
5.2、进入文件查看程序是否正确
转载于:https://www.cnblogs.com/longronglang/p/8456354.html
Spark学习之第一个程序打包、提交任务到集群相关推荐
- Flink学习笔记04:将项目打包提交到Flink集群上运行(Scala版)
文章目录 一.创建Maven项目 - ScalaWordCount 三.利用mvn命令打包Maven项目 三.上传项目jar包到Flink集群主节点 四.启动Flink Standalone集群 五. ...
- Flink学习笔记03:将项目打包提交到Flink集群上运行(Java版)
文章目录 一.创建Maven项目 - WordCount 三.利用mvn命令打包Maven项目 三.上传项目jar包到Flink集群主节点 四.启动Flink Standalone集群 五.将应用提交 ...
- Spark学习之路 (二)Spark2.3 HA集群的分布式安装
<2021年最新版大数据面试题全面开启更新> 欢迎关注github<大数据成神之路> 目录 一.下载Spark安装包 1.从官网下载 2.从微软的镜像站下载 3.从清华的镜像站 ...
- Spark练习 - 提交作业到集群 - submit job via cluster
Created by Wang, Jerry, last modified on Sep 12, 2015 start-master.sh ( sbin folder下) then ps -aux 7 ...
- 学习笔记:Qt程序打包发布
目录 前言 步骤 前言 使用qt开发自动化测试软件,一般是先在自己的办公电脑上写,后续再发给测试机运行,需要使用Qt程序打包生成exe程序.有两种方法:"Qt Widgets Applica ...
- 【Python学习系列四】Python程序通过hadoop-streaming提交到Hadoop集群执行MapReduce
场景:将Python程序通过hadoop-streaming提交到Hadoop集群执行. 参考:http://www.michael-noll.com/tutorials/writing-an-had ...
- spark 提交任务到集群
spark 提交任务到集群 链接 posted on 2018-07-11 15:46 luoganttcc 阅读(...) 评论(...) 编辑 收藏
- 使用Helm将ASP.NET Core应用程序部署到Kubernetes容器集群
在<容器化单页面应用中RESTful API的访问>以及<容器化单页面应用中Nginx反向代理与Kubernetes部署>两篇文章中,我介绍了一套容器化ASP.NET Core ...
- asp网上书店的代码_使用Helm将ASP.NET Core应用程序部署到Kubernetes容器集群
在<容器化单页面应用中RESTful API的访问>以及<容器化单页面应用中Nginx反向代理与Kubernetes部署>两篇文章中,我介绍了一套容器化ASP.NET Core ...
最新文章
- 华为交换机ssh思科交换机_使用SSH或Telnet访问思科业务交换机CLI
- 【大学到研究生自学Java的学习路线】这是一份最适合普通大众、非科班的路线,帮你快速找到一份满意的工作
- Mysql对string类型转换int类型的小问题
- 大疆口袋云台存储卡_让拍摄更加安心,大疆无人机与口袋相机的存储卡选择:东芝M303E...
- Web服务器故障的奇怪原因
- Github 1300+ 星!旷视开源的深度强化学习绘画智能体论文解读
- iOS开发之跳转指定的tabbar控制器(二级页面跳转到指定的tabbar页面)
- 关于安装TOMCAT解压版环境配置流程
- Python进阶-----类的内置方法__getattribute__
- 【持续更新】Eclipse使用教程
- 浅谈论文查重检测过程中的常见问题
- LOL盗号PHP源码,说说技术那些事之LOL盗号网站
- 史上最美大型互联网机房综合布线图鉴
- 【WiFi 6E】WiFi 6E信道分布
- js Array 标准方法
- 微信小程序分析送积分功能如何实现_微信小程序如何建立积分系统?
- VPX-M1 3U VPX 刀片计算机产品
- STUN协议简要介绍
- android网页编辑软件,HTML5编辑器
- 对 oc 学习的 阶段反思