python编程快速上手（持续更新中…）

一、目标

知道Spark的安装过程，知道standalone启动模式
知道spark作业提交集群的过程

二、spark 安装部署

1.下载

spark: 版本spark2.2.0, 下载地址：http://archive.apache.org/dist/spark/spark-2.2.0/
，下载spark-2.2.0-bin-hadoop2.6.tgz

2.安装

a.spark解压到/opt下，并分别重名为scala2118，spark22，然后配置环境变量，具体如下：

tar -zxvf spark-2.2.0-bin-hadoop2.6.tgz -C /opt/

cd /opt

mv spark-2.2.0-bin-hadoop2.6/ spark

b.配置spark环境变量spark-env.sh(需要将spark-env.sh.template重命名)

cd spark/conf

mv spark-env.sh.template spark-env.sh

vi spark-env.sh

export SPARK_HOME=/opt/spark
export JAVA_HOME=/opt/jdk8
export HADOOP_HOME=/opt/hadoop
export YARN_HOME=/opt/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_CONF_DIR=$YARN_HOME/etc/hadoop
export SPARK_MASTER_IP=172.18.2.2
export SPARK_LIBRARY_PATH=$HADOOP_HOME/lib/native
export SPARK_LOCAL_DIRS=/opt/spark/tmp

c.修改slaves配置文件

# 步骤一：将slaves.template这个文件重新命名为slaves：
mv slaves.template slaves# 步骤二：修改slaves配置文件中的内容,在里面添加worker节点的地址
# 配置从节点的地址（默认）
localhost

d.配置Spark环境变量
打开/etc/profile，在该文件中添加如下内容：

#配置Spark环境变量
export SPARK_HOME=/opt/modules/spark-2.2.0
export PATH=$SPARK_HOME/bin:$PATH

让配置生效:

source /etc/profile

3.启动和使用

a.进入到$SPARK_HOME/sbin目录

启动

./start-all.sh

jps查看进程

60056 Master
60137 Worker

通过SPARK WEB UI查看Spark集群及Spark

http://172.18.2.2:8080/ 监控Spark集群
http://172.18.2.2:4040/ 监控Spark Job

关闭

./stop-all.sh

b.进入到$SPARK_HOME/bin目录

spark-shell

三、spark 集群相关概念

1.spark集群架构(Standalone模式)

2.Spark作业相关概念

Master
- 主节点
- 负责Worker状态管理
- 响应client提交来的Application
Worker
- 管理自身资源
- 运行Applicatoib对应的task
- 启动图driver执行application
Excutor
- task最终执行的容器
Application
- spark作业
Diver
- 作业提交给spark的时候先由一个Worker启动一个Driver来分析Application
- DAGScheduler
  - tash划分交给TaskScheduler
  - 作用可以划分多个stage
  - 每一个stage根据partion的数量觉得由多个task
TaskScheduler
- 将task调度到对应的Excutors上执行
Clent

3.Spark作业图

8.1.CentOS7安装Spark安装部署及standalone模式介绍相关推荐

linux安装spark安装（详解版-单机/伪分布）
spark安装前提条件至少已经安装好Hadoop 优质:Hadoop+Hbase+Hive hadoop单机/伪分布: https://blog.csdn.net/qq_46138492/arti ...
Spark On K8S（Standalone模式部署）
Spark on K8S 的几种模式 Standalone:在 K8S 启动一个长期运行的集群,所有 Job 都通过 spark-submit 向这个集群提交 Kubernetes Native:通过 ...
Spark（5）——standalone模式
在spark中,也有自己的一套集群模式,启动方式如下: 到spark的sbin目录下完成启动: -h后面跟自己的master的ip地址再开启slave: 后面填写master的ip地址并跟上端口号. ...
Spark- Linux下安装Spark
Spark- Linux下安装Spark 前期部署 1.JDK安装,配置PATH 可以参考之前配置hadoop等配置 2.下载spark-1.6.1-bin-hadoop2.6.tgz,并上传到服务器 ...
【Ubuntu-大数据】spark安装配置
这里写目录: 一.(实现需要先安装好Hadoop3) 1.官网下载:3版本 2.单机模式安装配置: 3.在集群上运行Spark应用程序待更新... 参考的文章: http://dblab.xmu ...
通过MAVEN安装Spark、 EclipseIDE
Spark Installation with Maven & Eclipse IDE 文章目录 Spark Installation with Maven & Eclipse IDE ...
SS00004.flink——|HadoopFlink计算领域锋利的武器.v04|——|Flink.v01|StandAlone模式部署|
一.Flink安装和部署 ### --- Flink支持多种安装模式~~~ local(本地):单机模式,一般本地开发调试使用 ~~~ StandAlone 独立模式:Flink自带集群,自己管理资源 ...
深入理解Spark 2.1 Core （五）：Standalone模式运行的原理与源码分析
概述前几篇博文都在介绍Spark的调度,这篇博文我们从更加宏观的调度看Spark,讲讲Spark的部署模式.Spark部署模式分以下几种: local 模式 local-cluster 模式 Sta ...
CentOS7下Spark集群的安装
从物理部署层面上来看,Spark主要分为两种类型的节点,Master节点和Worker节点,Master节点主要运行集群管理器的中心化部分,所承载的作用是分配Application到Worker节点, ...
最新小白详细描述在centos7.5上安装python3并使用Nginx+virtualenv+supervisor来部署tornado项目（整理集合结合实际）系列2
4.安装nginx 安装gcc gcc是用来编译下载下来的nginx源码,安装gcc和c++编译器(当然以下都是在切换到root用户下的) yum -y install gcc gcc-c++ ce ...

8.1.CentOS7安装Spark安装部署及standalone模式介绍