spark-local模式

spark运行模式 local，standalone，yarn，mesos，k8s。

local模式设置master
    local：所有计算都在一个线程，没有并行计算。
    local【k】：指定用几个线程计算。
    local[*]：以cpu最多core设置线程数量。
local模式简单，解压jar包，直接复制demo即可。

参数解释：
-–executor-memory 10G   每个worker/executor都会分配10G
--master local【3】            默认值local
--total-executor-cores        ？？

local模式demo
蒙特卡罗法求PI：
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--executor-memory 1G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.11-2.1.1.jar \
100

WordCount：
mkdir input
vi a.txt 按i
hello spark
hello thutmose
vi b.txt
hell everyone

./bin/spark-shell
另起一个控制台 jps 出现sparksubmit 启动成功
sc.textFile("./input").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect

可通过ip:4040 查看程序运行。

spark-local模式相关推荐

Spark运行模式Local+Standalone+Yarn+mesos
Spark运行模式Local+Standalone+Yarn+mesos bin/spark-submit --help 注意: --master MASTER_URL spark://host:po ...
Spark运行模式(local standalond,yarn-client,yarn-cluster,mesos-client,mesos-cluster)
spark部署在单台机器上面时,可以使用本地模式(Local)运行:当部署在分布式集群上面的时候,可以根据自己的情况选择Standalone模式(Spark自带的模式).YARN-Client模式或者 ...
Spark的Local模式及案例
Spark的Local模式及案例基本概念 Local模式搭建 1. 解压缩文件 2.修改文件名启动 Local 环境 WordCount案例 1.添加文件 2.执行命令 3.结果截图测试Spar ...
004 Spark中的local模式的配置以及测试
一:介绍 1.Spark的模式 Local:本地运行模式,主要用于开发.测试 Standalone:使用Spark自带的资源管理框架运行Spark程序,30%左右 Yarn: 将spark应用程序运行 ...
详解Spark运行模式（local+standalone+yarn）
一.简述 Spark 有多种运行模式: 1.可以运行在一台机器上,称为 Local(本地)运行模式. 2.可以使用 Spark 自带的资源调度系统,称为 Standalone 模式. 3.可以使用 Y ...
spark-2.4.5-bin-2.6.0-cdh5.15.1环境搭建:Local模式和StandAlone
下载源码进行编译在这一篇中,介绍了如何下载源码进行编译,编译好的文件名为spark-2.4.5-bin-2.6.0-cdh5.15.1 对文件进行解压:tar -xvf spark-2.4.5-bi ...
spark-1.6.0-cdh5.15.1环境搭建:Local模式和StandAlone
下载spark 从http://archive.cloudera.com/cdh5/cdh/5/下载spark-1.6.0-cdh5.15.1,因为我之前使用的hadoop版本都是cdh5.15.1, ...
【原】Spark Standalone模式
Spark Standalone模式安装Spark Standalone集群手动启动集群集群创建脚本提交应用到集群创建Spark应用资源调度及分配监控与日志与Hadoop共存配置网络 ...
第三章 Spark运行模式及原理
第三章 Spark运行模式及原理目录 Spark运行模式概述 Local模式 Standalone模式 Local cluster模式 Mesos模式 YARN standalone/YARN cl ...
spark 不同模式用途_Spark 的四种模式
1.spark主要有四种运行模式:Loca .standalone.yarn.mesos. 1)Local模式:在一台机器上,一般用于开发测试 2)standalone模式:完全独立的spark集群, ...

spark-local模式

spark-local模式相关推荐

最新文章

热门文章