spark 2.4安装

1、spark 官网选择对应Hadoop的版本，之前安装的Hadoop版本为hadoop-3.0.2，获取下载包：

wget http://mirrors.hust.edu.cn/apache/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz

2、解压缩安装包，创建软连接：

tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz

ln -s spark-2.4.0-bin-hadoop2.7 spark

3、配置spark，进入conf目录:

1)、配置spark-env.sh 文件

先拷贝：cp spark-env.sh.template spark-env.sh

文件增加内容如下：

export JAVA_HOME=/usr/local/src/jdk1.8.0_191 #Java环境变量

export SCALA_HOME=/usr/local/src/scala/scala-2.12.7 #SCALA环境变量

export SPARK_WORKING_MEMORY=521m #每一个worker节点上可用的最大内存

export SPARK_MASTER_IP=master #驱动器节点IP

export HADOOP_HOME=/usr/local/src/hadoop-3.0.2 #Hadoop路径

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop #Hadoop配置目录

2)、配置slave主机

先拷贝：cp slaves.template slaves

文件中增加slave节点名称：

slave1

slave2

3）、将spark 目录发送给salve1和slave2

scp -r spark root@slave1:/usr/local/src/

scp -r spark root@slave2:/usr/local/src/

4)、启动spark

cd sbin目录，执行./start-all.sh

5)、节点启动了worker进程

转载于:https://www.cnblogs.com/lihao7/p/10092846.html

spark 2.4安装相关推荐

九、Spark模块和安装
@Author : By Runsen @Date : 2020/6/21 作者介绍:Runsen目前大三下学期,专业化学工程与工艺,大学沉迷日语,Python, Java和一系列数据分析软件.导致翘 ...
Spark 简介与安装部署
本教程为实验楼原创,转载请注明课程链接:https://www.shiyanlou.com/courses/456 1. 课程说明本教程是实验楼Spark大数据动手实验训练营第一节,登录实验楼官网可 ...
基于Hadoop的Spark超快安装
文章目录前言一.Spark的安装总结前言基于Hadoop的Spark超快安装一.Spark的安装待Hadoop安装好之后,我们再开始安装Spark. 我选择的是Spark 2.4.8 版 ...
大数据之Spark集群安装及简单使用
目录 1.Spark集群安装 1.1. 安装 2.启动Spark Shell 2.1.启动spark shell 2.2.在spark shell中编写WordCount程序目录 1.Spark集群 ...
Win7 单机Spark和PySpark安装
Win7 单机Spark和PySpark安装欢呼一下先.软件环境菜鸟的我终于把单机Spark 和 Pyspark 安装成功了.加油加油!!! 1. 安装方法参考: 已安装Pycharm 和 Inte ...
Windows 下 Spark+Hadoop+Scala 安装
整体流程可参考,但文中的版本较低 Spark学习笔记--Spark在Windows下的环境搭建 - 法号阿兴 - 博客园 (cnblogs.com)https://www.cnblogs.com/xu ...
四、 Spark Webchat的安装
四. Spark Webchat的安装 Spark Webchat是基于web的Spark,需要Openfire企业版的支持. 1. 软件下载 Openfire ...
Spark集群安装介绍
(1)初学者对于spark的几个疑问 http://aperise.iteye.com/blog/2302481 (2)spark开发环境搭建 http://aperise.iteye.com/blo ...
Spark独立集群安装
Spark独立集群安装配置并启动Spark集群配置免密登录配置环境变量配置workers 配置spark-default.conf 配置spark-env.sh 启动Spark独立集群使用s ...
Spark下载和安装（学习笔记）
夫君子之行,静以修身,俭以养德,非淡泊无以明志,非宁静无以致远. 夫学须静也,才须学也,非学无以广才,非志无以成学.淫慢则不能励精,险躁则不能冶性. 年与时驰,意与日去,遂成枯落,多不接世,悲守穷庐, ...

spark 2.4安装

spark 2.4安装相关推荐

最新文章

热门文章