向Spark集群提交任务

1.启动spark集群。

　　启动Hadoop集群

cd /usr/local/hadoop/
sbin/start-all.sh

　　启动Spark的Master节点和所有slaves节点

cd /usr/local/spark/
sbin/start-master.sh
sbin/start-slaves.sh

2.standalone模式：

　　向独立集群管理器提交应用，需要把spark：//master:7077作为主节点参数递给spark-submit。下面我们可以运行Spark安装好以后自带的样例程序SparkPi，它的功能是计算得到pi的值（3.1415926）。

　　在Shell中输入如下命令：

　　bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 examples/jars/spark-examples_2.11-2.0.2.jar 100 2>&1 | grep "Pi is roughly"

3.hadoop yarn 管理模式:

　　向Hadoop YARN集群管理器提交应用，需要把yarn-cluster作为主节点参数递给spark-submit。请登录Linux系统，打开一个终端，在Shell中输入如下命令：

　　bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster examples/jars/spark-examples_2.11-2.0.2.jar

　　输入途中的urI，即可查看任务进程。

转载于:https://www.cnblogs.com/dhName/p/10593762.html

向Spark集群提交任务相关推荐

spark 序列化错误集群提交时_【问题解决】本地提交任务到Spark集群报错：Initial job has not accepted any resources...
本地提交任务到Spark集群报错:Initial job has not accepted any resources 错误信息如下: 18/04/17 18:18:14 INFO TaskSched ...
spark提交到yarn_详细总结spark基于standalone、yarn集群提交作业流程
最近总结了一些关于spark core的内容,今天先来和大家分享一下spark的运行模式. spark运行模式 (1)local:在本地eclipse.IDEA中写spark代码运行程序,一般用于测试 ...
向spark standalone集群提交任务
向spark standalone集群提交任务文档链接 #切换到spark安装目录,执行下面一条命令,192.168.0.10是master的ip, examples/src/main/python ...
Spark入门（四）Idea远程提交项目到spark集群
一.依赖包配置 scala与spark的相关依赖包,spark包后尾下划线的版本数字要跟scala的版本第一二位要一致,即2.11 pom.xml <?xml version="1.0 ...
windons下远程提交任务到linux上的spark集群
一.开发环境: 操作系统:win8 64位 IDE:IntelliJ IDEA JDK:1.7 scala:scala-2.11.7 spark:li ...
spark 序列化错误集群提交时_spark 面试题（2）
33.选择题二.选择题 1. Spark 的四大组件下面哪个不是 (D ) A.Spark Streaming B. Mlib C Graphx D.Spark R 2.下面哪个端口不是 ...
Spark集群模式概述
2019独角兽企业重金招聘Python工程师标准>>> 集群模式概述本文简要地概述一下Spark是如何在集群上运行的,方便理解Spark以及相关的组件.如何向集群提交应用程序参阅应 ...
spark 集群单词统计_最近Kafka这么火，聊一聊Kafka：Kafka与Spark的集成
Spark 编程模型在Spark 中, 我们通过对分布式数据集的操作来表达计算意图 ,这些计算会自动在集群上井行执行这样的数据集被称为弹性分布式数据集 Resilient Distributed ...
使用docker安装部署Spark集群来训练CNN（含Python实例）
使用docker安装部署Spark集群来训练CNN(含Python实例) 本博客仅为作者记录笔记之用,不免有很多细节不对之处. 还望各位看官能够见谅,欢迎批评指正. 博客虽水,然亦博主之苦劳也. 如需 ...

向Spark集群提交任务

向Spark集群提交任务相关推荐

最新文章

热门文章