Spark 运行模式 standalong yarn

standalong 模式需要在spark master 节点上启动 spark/sbin/start-all.sh
主从节点都可以run

standalong client

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://bigdatastorm:7077 --driver-memory 512m --executor-memory 512m --total-executor-cores 1 ./lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

standalong cluster

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://bigdatastorm:7077 --deploy-mode cluster --driver-memory 512m --executor-memory 512m --total-executor-cores 1 ./lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

yarn 模式需要启动yarn

主从节点都可以run

yarn client

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client --driver-memory 512m --executor-memory 512m --total-executor-cores 1 ./lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

yarn cluster

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster --driver-memory 512m --executor-memory 512m --total-executor-cores 1 ./lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

================================================
standalong 模式需要在/opt/spark-1.6.0/conf 配置 slaves 和 spark-env.sh ,slaves 配置work 节点
spark-env.sh 配置

export SPARK_MASTER_IP=bigdatastorm
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=512m
export SPARK_LOCAL_DIRS=/data/spark/dataSparkDir

yarn 模式下需要额外配置

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

更重要的是需要配置Scala 了，并设置环境变量

转载于:https://www.cnblogs.com/TendToBigData/p/10501386.html

Spark 运行模式 standalong yarn相关推荐

Spark运行模式Local+Standalone+Yarn+mesos
Spark运行模式Local+Standalone+Yarn+mesos bin/spark-submit --help 注意: --master MASTER_URL spark://host:po ...
详解Spark运行模式（local+standalone+yarn）
一.简述 Spark 有多种运行模式: 1.可以运行在一台机器上,称为 Local(本地)运行模式. 2.可以使用 Spark 自带的资源调度系统,称为 Standalone 模式. 3.可以使用 Y ...
第三章 Spark运行模式及原理
第三章 Spark运行模式及原理目录 Spark运行模式概述 Local模式 Standalone模式 Local cluster模式 Mesos模式 YARN standalone/YARN cl ...
一篇文章读懂：Spark运行模式
Spark性能调优与原理分析 01.Spark运行模式运行Spark的应用程序,其实仅仅需要两种角色,Driver和Executor.Driver负责将用户的应用程序划分为多个Job,分成多个Tas ...
spark封神之路(2)-spark运行模式
本专栏系列视频教程 2 spark运行模式入门 1．官网地址 http://spark.apache.org/ 2．文档查看地址 https://spark.apache.org/docs/2.1.1 ...
Spark运行模式(local standalond,yarn-client,yarn-cluster,mesos-client,mesos-cluster)
spark部署在单台机器上面时,可以使用本地模式(Local)运行:当部署在分布式集群上面的时候,可以根据自己的情况选择Standalone模式(Spark自带的模式).YARN-Client模式或者 ...
Spark运行模式Standalone 模式
Standalone 模式 Standalone 模式概述 standalone n. 脱机; adj. 单独的,独立的; local 本地模式毕竟只是用来进行练习演示的,真实工作中还是要将应用提交到 ...
4-spark学习笔记-spark运行模式与原理
2021年大数据Spark（四）：三种常见的运行模式
目录 Spark 运行模式一.本地模式:Local Mode 二.集群模式:Cluster Mode 三.云服务:Kubernetes 模式 Spark 运行模式 Spark 框架编 ...

Spark 运行模式 standalong yarn

Spark 运行模式 standalong yarn相关推荐

最新文章

热门文章