Spark提交任务到集群

提交Spark程序到集群与提交MapReduce程序到集群一样，首先要将写好的Spark程序打成jar包，再在Spark-submit下通过命令提交。

Step1:打包程序

通说Intellij IDEA进行打包步骤：

Step2:提交任务

./spark-submit --class DT --master spark:master:7077 --executor-memory 2g --num-executors 5 /home/hadoop/IdeaProjects/SparkProject/SaprkDT/out/artifacts/DecisionTree.jar

附：

官方给定的通过spark-submit提交Spark程序的例子：

[java] view plaincopy

# Run application locally on 8 cores
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[8] \
/path/to/examples.jar \
100
# Run on a Spark standalone cluster
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://207.184.161.138:7077 \
--executor-memory 20G \
--total-executor-cores 100 \
/path/to/examples.jar \
1000
# Run on a YARN cluster
export HADOOP_CONF_DIR=XXX
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn-cluster \ # can also be `yarn-client` for client mode
--executor-memory 20G \
--num-executors 50 \
/path/to/examples.jar \
1000
# Run a Python application on a cluster
./bin/spark-submit \
--master spark://207.184.161.138:7077 \
examples/src/main/python/pi.py \
1000

Spark提交任务到集群相关推荐

spark 提交任务到集群
spark 提交任务到集群链接 posted on 2018-07-11 15:46 luoganttcc 阅读(...) 评论(...) 编辑收藏
Spark练习 - 提交作业到集群 - submit job via cluster
Created by Wang, Jerry, last modified on Sep 12, 2015 start-master.sh ( sbin folder下) then ps -aux 7 ...
本地提交spark_Spark在Windows下运行，本地提交spark到远程yarn集群
[问题]Spark在windows能跑集群模式吗? 我认为是可以的,但是需要详细了解cmd命令行的写法.目前win下跑spark的单机模式是没有问题的. [关键点]spark启动机制容易被window ...
Spark自带的集群模式（Standalone），Spark/Spark-ha集群搭建
1.Spark自带的集群模式对于Spark自带的集群模式,Spark要先启动一个老大(Master),然后老大Master和各个小弟(Worker)进行通信,其中真正干活的是Worker下的Exec ...
spark之12：集群模式概述
spark之12:集群模式概述 @(SPARK)[spark, 大数据] 英文原文地址:https://spark.apache.org/docs/latest/cluster-overview.ht ...
Spark基础学习笔记05：搭建Spark Standalone模式的集群
文章目录零.本讲学习目标一.Spark集群拓扑 (一)集群拓扑 (二)集群角色分配二.搭建集群 (一)私有云上创建三台虚拟机 (二)利用SecureCRT登录三台虚拟机 1.登录master虚拟 ...
【Python学习系列四】Python程序通过hadoop-streaming提交到Hadoop集群执行MapReduce
场景:将Python程序通过hadoop-streaming提交到Hadoop集群执行. 参考:http://www.michael-noll.com/tutorials/writing-an-had ...
在local模式下的spark程序打包到集群上运行
一.前期准备前期的环境准备,在Linux系统下要有Hadoop系统,spark伪分布式或者分布式,具体的教程可以查阅我的这两篇博客: Hadoop2.0伪分布式平台环境搭建 Spark2.4.0伪分 ...
spark内核揭秘-02-spark集群概览
2019独角兽企业重金招聘Python工程师标准>>> Spark集群预览: 官方文档对spark集群的初步描述如下,这是一个典型的主从结构: 官方文档对spark集群中的一些关键点 ...
手绘流程图讲解spark是如何实现集群的高可用
本文分享自华为云社区<图解spark是如何实现集群的高可用>,作者:breakDawn. 我们看下spark是怎么针对master.worker.executor的异常情况做处理的. 容错 ...

Spark提交任务到集群

Spark提交任务到集群相关推荐

最新文章

热门文章