spark应用程序转换_打包并提交运行Spark应用程序jar包

基于eclipse的Spark IDE可在 http://scala-ide.org/ 下载。

以WordCount为例：

package com.lxw.test

import org.apache.spark.{SparkConf, SparkContext}

import SparkContext._

object WordCount {

def main (args: Array[String]) {

if(args.length < 2) {

println("Usage: WordCount ")

System.exit(1)

}

val hdfsIn = args(0);

val hdfsOut = args(1);

val sc = new SparkContext(new SparkConf().setAppName("WordCount"))

val srcData = sc.textFile(hdfsIn)

val result = srcData.flatMap(_.split("\\s+")).map((_,1)).reduceByKey(_+_)

result.saveAsTextFile(hdfsOut)

}

在eclipse中将程序打成普通的Java jar包即可。

在Spark的一台Client机器上使用spark-submit来提交运行jar包：

$SPARK_HOME/bin/spark-submit \

--name "lxw1234-wordcount" \

--master spark://192.168.1.130:7077 \

--executor-memory 1G \

--class com.lxw.test.WordCount \

/home/lxw1234/lxw-spark.jar /logs/site/2015-05-14/ /tmp/lxwoutput

如果觉得本博客对您有帮助，请赞助作者。

spark应用程序转换_打包并提交运行Spark应用程序jar包相关推荐

spark on yarn client模式下不需要上传程序jar包到hdfs
【Groovy】Groovy 扩展方法 ( 实例扩展方法配置 | 扩展方法示例 | 编译实例扩展类 | 打包实例扩展类字节码到 jar 包中 | 测试使用 Thread 实例扩展方法 )
文章目录一.扩展方法示例二.实例扩展方法配置三.编译实例扩展类四.打包静态扩展类字节码到 jar 包中五.测试使用 Thread 实例扩展方法一.扩展方法示例为 Thread 扩展 he ...
【Groovy】Groovy 扩展方法 ( 静态扩展方法配置 | 扩展方法示例 | 编译静态扩展类 | 打包静态扩展类字节码到 jar 包中 | 测试使用 Thread 静态扩展类 )
文章目录一.扩展方法示例二.静态扩展方法配置三.编译静态扩展类四.打包静态扩展类字节码到 jar 包中五.测试使用 Thread 静态扩展类一.扩展方法示例为 Thread 扩展 hel ...
java -jar 停止_推荐：Linux启动Java程序jar包Shell脚本
每次启动Java程序jar包的时候,难道你还在手敲java -jar xxserver.jar--?边敲边想着都需要追加哪些参数? 今天就推荐给大家一个几乎通用的Shell脚本,它支持Java程序Ja ...
【Spark+NLP】14、使用IDEA运行spark小程序 + jar包在spark分布式环境中运行
统计E盘下helloSpark.txt文件中每个单词的出现次数一.测试代码: import org.apache.spark.{SparkContext, SparkConf} object spa ...
java导入包写在第二行的吗_使用Java命令行方式导入第三方jar包来运行Java程序的命令...
1.首先使用命令行进入到a.java所在的文件夹:(比如我的在D:\javaeeworkspace\SharedPS_WS\src\com\dyf\main 这样一个路径下,) d: 回车, cd D ...
MobileIMSDK怎样将Java服务端运行起来以及打成jar包运行
场景 MobileIMSDK: https://gitee.com/jackjiang/MobileIMSDK MobileIMSDK是一套专为移动端开发的原创IM通信层框架注: 博客: https ...
Windows服务器运行spring boot的jar包会自动关闭
背景介绍 1.阿里云服务器 2.Windows操作系统 3.Oracle数据库 4.java -jar运行jar包 5.以上不是重点 6.程序员克星–360安全卫士问题场景服务器上使用java - ...
Maven打包(瘦身打包部署)，不包含第三方依赖jar包
方式1 pom 配置 <properties><startClass>com.answer.jaemon.Application</startClass> < ...

spark应用程序转换_打包并提交运行Spark应用程序jar包

spark应用程序转换_打包并提交运行Spark应用程序jar包相关推荐

最新文章

热门文章