spark submit 入门

spark dirver本质是一个spark集群的驱动程序，你要调用spark集群的计算功能，必须要通过它！

from pyspark import SparkConf, SparkContext
conf = SparkConf().setMaster("local").setAppName("My test App")
sc = SparkContext(conf=conf)
lines = sc.textFile("/tmp/tmp.txt")
print lines.count()
print lines.first()

然后，在tmp下放置一个文件tmp.txt，运行：

./bin/spark-submit my_example/test.py

即可看到效果！

注意：从根本上说，spark sumbit也是驱动程序，不过是将上述脚本提交到spark集群上去执行罢了！

转载于:https://www.cnblogs.com/bonelee/p/6033781.html

spark submit 入门相关推荐

spark streaming 入门例子
spark streaming 入门例子: spark shell import org.apache.spark._ import org.apache.spark.streaming._sc.ge ...
zeppelin报错master is set as yarn, but spark.submit.deployMode is not specified
具体报错如下: java.lang.RuntimeException: master is set as yarn, but spark.submit.deployMode is not specif ...
spark submit参数及调优
spark submit参数及调优原文地址 spark submit参数介绍你可以通过spark-submit --help或者spark-shell --help来查看这些参数. 使用格式: ...
Spark快速入门指南 – Spark安装与基础使用
本文转载自Spark快速入门指南 – Spark安装与基础使用 Apache Spark 是一个新兴的大数据处理通用引擎,提供了分布式的内存抽象.Spark 正如其名,最大的特点就是快(Lightni ...
【原创】大数据基础之Spark（1）Spark Submit即Spark任务提交过程
Spark2.1.1 一 Spark Submit本地解析 1.1 现象提交命令: spark-submit --master local[10] --driver-memory 30g --cla ...
Spark On Yarn --jars/spark.yarn.jars 踩坑与提升spark submit速度
一.引言 Spark submit 可以选择 --jars 传入本地的jar也可以 --jars 传入HDFS的jar包,经过半下午的实验,终于搞清了两者的关系以及 spark.yarn.jars 和 ...
Spark Submit任务提交流程
1,简介在上一篇博客中,我们详细介绍了Spark Standalone模式下集群的启动流程.在Spark 集群启动后,我们要想在集群上运行我们自己编写的程序,该如何做呢?本篇博客就主要介绍Spark ...
spark submit参数及调优(转载)
spark submit参数介绍你可以通过spark-submit --help或者spark-shell --help来查看这些参数. 使用格式: ./bin/spark-submit \--c ...
spark submit参数及调试
原文:http://www.cnblogs.com/haoyy/p/6893943.html spark submit参数介绍你可以通过spark-submit --help或者spark-shel ...

spark submit 入门

spark submit 入门相关推荐

最新文章

热门文章