Spark cluster 安装

使用 Ubuntu 机器做主服务

Master
192.168.50.15 (Ubuntu)Worker 1
192.168.50.15 (Ubuntu)
Worker 2
192.168.50.16 (Windows 10)

先安装 JDK 和下载 Apache Spark

sudo apt-get install openjdk-11-jdk
wget https://archive.apache.org/dist/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz
tar xvf spark-3.1.2-bin-hadoop3.2.tgz
sudo mv spark-3.1.2-bin-hadoop3.2 /opt/spark

设置 SPARK_HOME

vi ~/.profileexport SPARK_HOME=/opt/sparksource ~/.profile

设置服务器 IP

cd /opt/spark/conf
cp spark-env.sh.template spark-env.shSPARK_LOCAL_IP=192.168.50.15
SPARK_MASTER_HOST=192.168.50.15

起动 Master 和 Worker 1

sudo /opt/spark/sbin/start-master.sh
sudo /opt/spark/sbin/start-worker.sh spark://192.168.50.15:7077

Windows 下载 Apache Spark 和 Hadoop winutils.exe 放到 e.g. D:\app

https://archive.apache.org/dist/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz
https://github.com/cdarlint/winutils/tree/master/hadoop-3.2.2/bin

设置环境变量 SPARK_HOME, HADOOP_HOME 和 PATH

SPARK_HOME
D:\app\spark
PATH add %SPARK_HOME%\binHADOOP_HOME
D:\app\hadoop
PATH add %HADOOP_HOME%\bin

打开命令字元

spark-class org.apache.spark.deploy.worker.Worker spark://192.168.50.15:7077

查看 Spark Master UI

使用 Ctrl-C 来停止 Windows Worker 2

停止 Worker 1 和 Master

sudo /opt/spark/sbin/stop-worker.sh
sudo /opt/spark/sbin/stop-master.sh

Spark cluster 安装相关推荐

[转]大数据环境搭建步骤详解（Hadoop，Hive，Zookeeper，Kafka，Flume，Hbase，Spark等安装与配置）
大数据环境安装和配置(Hadoop2.7.7,Hive2.3.4,Zookeeper3.4.10,Kafka2.1.0,Flume1.8.0,Hbase2.1.1,Spark2.4.0等) 系统说明 ...
大数据之spark学习记录二: Spark的安装与上手
大数据之spark学习记录二: Spark的安装与上手文章目录大数据之spark学习记录二: Spark的安装与上手 Spark安装本地模式 Standalone 模式基本配置步骤1: 复制 ...
Spark的安装和使用
Spark2.1.0入门:Spark的安装和使用 Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0(2.7.1)/Ubuntu14.04(16.04) 手把手教你在VirtualBox ...
Hadoop3 Hive Spark完整安装与实践
大数据实践 Hadoop3 Hive Spark完全安装在下载目录下打开终端,移动下载好的文件到/usr/local sudo mv 文件名 /usr/local 在/usr/local中解压文件 ...
MySql Cluster 安装，Centos，双管理，多数据，多ＳＱＬ节点
2019独角兽企业重金招聘Python工程师标准>>> MySql Cluster 安装安装步骤->安装步骤查看错误->错误集锦节点作用->节点作用测试结果 ...
大数据时代--windows下spark的安装与配置教程
2017年10月19日 10:34:25 Silence-wen 阅读数:9256 标签: 大数据hadoopscalaspark 版权声明:本文为博主原创文章,转载时请注明出处. https://b ...
window下spark的安装和开发环境配置
全栈工程师开发手册 (作者:栾鹏) python数据挖掘系列教程由于Spark是用Scala来写的,所以Spark对Scala肯定是原生态支持的,因此这里以Scala为主来介绍Spark环境的搭建, ...
Spark笔记整理（一）：spark单机安装部署、分布式集群与HA安装部署+spark源码编译...
[TOC] spark单机安装部署 1.安装scala 解压:tar -zxvf soft/scala-2.10.5.tgz -C app/ 重命名:mv scala-2.10.5/ scala 配置 ...
3.Spark的安装（华为云学习笔记，Spark编程基础，大数据）
Spark的安装 ① 在Linux系统中安装Spark: ② 运行Spark自带实例. 实验原理 -> Spark Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎.Sp ...

Spark cluster 安装

Spark cluster 安装相关推荐

最新文章

热门文章