下载源码进行编译

在这一篇中，介绍了如何下载源码进行编译，编译好的文件名为spark-2.4.5-bin-2.6.0-cdh5.15.1
对文件进行解压：tar -xvf spark-2.4.5-bin-2.6.0-cdh5.15.1.tgz -C ~/app

配置环境变量

修改.bashrc文件：

# SPARK_HOME 2.4.5
SPARK_HOME=/home/iie4bu/app/spark-2.4.5-bin-2.6.0-cdh5.15.1PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$SPARK_HOME/bin:$PATH

运行local模式

使用命令：./spark-shell master local[2]
master 用来指定使用什么模式，这里使用Local模式，[2]表示两个线程。

说明运行成功！

运行StandAlone模式

复制一个conf/spark-env.sh：

SPARK_MASTER_HOST=manager
SPARK_WORKER_CORES=2
SPARK_WORKER_MEMORY=2g
SPARK_WORKER_INSTANCES=1

spark的Standalone模式与Hadoop的HDFS模式类似，是一个Master加多个worker。
复制修改slaves：manager
修改sbin/spark-config.sh，添加JAVA_HOME：

export JAVA_HOME=/home/iie4bu/app/jdk1.8.0_101

运行：sbin/start-all.sh:

输入jps查看：

可以看到有一个master和一个worker.
浏览器访问ip:8080可以查看

可以看到Alive Workers: 1，因为我们之前设置了SPARK_WORKER_INSTANCES=1。
当我们修改了这个值：SPARK_WORKER_INSTANCES=2时，重启spark：
sbin/start-all.sh，可以看到有两个worker

在浏览器中可以看到：

看到Alive Worker:2 说明我们的配置生效了。

运行一个Application

运行命令：./spark-shell --master spark://manager:7077

可以看到已经启动成功，这时查看浏览器：

可以看到已经有一个Application在运行了，这个Application的name是spark-shell，并且这个Application占用了4个Cores，和1024M的内存。
由于现在的Cores已经被这个spark-shell用光了，所以当我们再启动一个spark-shell时：

这时查看浏览器：

看到第二次启动的spark-shell没有分配到cores，状态是WAITING，无法运行。
那么能不能设置不把core用光呢？
可以：设置--executor-cores NUM和--executor-memory MEM

spark-2.4.5-bin-2.6.0-cdh5.15.1环境搭建:Local模式和StandAlone相关推荐

hadoop2.7.3+spark2.1.0+scala2.12.1环境搭建（4）SPARK 安装
hadoop2.7.3+spark2.1.0+scala2.12.1环境搭建(4)SPARK 安装一.依赖文件安装 1.1 JDK 参见博文:http://www.cnblogs.com/liugh ...
Spring Boot 2.0系列文章(四)：Spring Boot 2.0 源码阅读环境搭建
前提前几天面试的时候,被问过 Spring Boot 的自动配置源码怎么实现的,没看过源码的我只能投降��了. 这不,赶紧来补补了,所以才有了这篇文章的出现,Spring Boot 2. 0 源码阅 ...
php iis mysql windows2003,Windows Server 2003 IIS6.0+PHP5(FastCGI)+MySQL5环境搭建教程 | 系统运维...
准备篇一.环境说明: 操作系统:Windows Server 2003 SP2 32位 PHP版本:php 5.3.14 MySQL版本:MySQL5.5.25 二.相关软件下载: 1.PHP下载地 ...
mysql+server+80_Windows Server 2019 IIS10.0+PHP(FastCGI)+MySQL环境搭建教程
准备篇一.环境说明: 操作系统:Windows Server 2019 PHP版本:php 7.3.11 MySQL版本:MySQL 8.0.18.0 二.相关软件下载: 1.PHP下载地址: ht ...
php7 iis10 mysql_Windows Server 2019 IIS10.0+PHP(FastCGI)+MySQL环境搭建教程
准备篇一.环境说明: 操作系统:Windows Server 2019 PHP版本:php 7.3.11 MySQL版本:MySQL 8.0.18.0 二.相关软件下载: 1.PHP下载地址: ht ...
iis10 php,Windows Server 2019 IIS10.0+PHP(FastCGI)+MySQL环境搭建教程
准备篇一.环境说明: 操作系统:Windows Server 2019 PHP版本:php 7.3.11 MySQL版本:MySQL 8.0.18.0 二.相关软件下载: 1.PHP下载地址: ht ...
Apache Spark1.1.0部署与开发环境搭建 - Mark Lin
Spark是Apache公司推出的一种基于Hadoop Distributed File System(HDFS)的并行计算架构.与MapReduce不同,Spark并不局限于编写map和reduce ...
Spark环境搭建-本地模式
Spark本地模式搭建 Local(本地模式)---开箱即用准备工作: JDK ScalaSDK只需要在Windows安装即可 Spark安装包:Apache Download Mirrors 原理 ...
ESP32开发 0.windows Vscode开发环境搭建，基于esp-idf-V4.2 | Cmake | Vscode插件
一前言入坑嵌入式以来,一直都在寻找一款通用MCU控制器:他应有优秀的计算处理能力.丰富的外设扩展能力.支持有线/无线联网.小巧的封装.自从ESP8266爆火以来,熟悉过它的使用,但窘于硬件限制,只 ...
【技术分享】ApolloEDU6.0+LGSVL联合仿真环境搭建
目录一.安装ApolloEDU6.0 1.安装 Ubuntu Linux 2.安装 NVIDIA GPU 驱动(可选) 3.安装 Docker Engine 4.安装 NVIDIA Containe ...

spark-2.4.5-bin-2.6.0-cdh5.15.1环境搭建:Local模式和StandAlone