Spark安装及配置详细步骤

1、解压scala、spark：

tar -zxvf scala-2.11.8.tgz
tar -zxvf spark-2.4.4-bin-hadoop2.6.tgz

2、配置环境变量(master、slave1、slave2分别执行)：

export SCALA_HOME=/usr/local/src/scala-2.11.8
export SPARK_HOME=/usr/local/src/spark-2.4.4-bin-hadoop2.6
export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin

重新加载环境变量：

source ~/.bashrc

3、修改spark配置文件(spark-env.sh、slaves)：
进到spark目录：

cd spark-2.4.4-bin-hadoop2.6/

进入conf目录下：

cd conf/

将spark-env.sh.template、slaves.template分别替换为spark-env.sh、slaves：

mv spark-env.sh.template spark-env.sh
mv slaves.template slaves

配置slaves：

配置spark-env.sh：

因为之前搭建hadoop过程中hosts中有域名转换，直接填master：

4、scala\spark拷贝到slave1、slave2节点：

scp -rp spark-2.4.4-bin-hadoop2.6/ root@slave1:/usr/local/src/
scp -rp spark-2.4.4-bin-hadoop2.6/ root@slave2:/usr/local/src/scp -rp scala-2.11.8/ root@slave2:/usr/local/src/
scp -rp scala-2.11.8/ root@slave2:/usr/local/src/

5、启动spark：
需先启动hadoop：

再启动spark：

master上查看服务进程：

从节点查看服务进程：

浏览器访问：

6、验证
(1)本地模式：
bin目录下执行：

./run-example SparkPi 10 --master local[2]

(2)集群Standlone

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 examples/jars/spark-examples_2.11-2.4.4.jar 100

(3) spark on yarn

spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster examples/jars/spark-examples_2.11-2.4.4.jar 100

Spark安装及配置详细步骤相关推荐

Window10 JDK8安装与配置详细步骤
JDK8 百度网盘链接百度网盘链接:https://pan.baidu.com/s/1vO3nybCKzyuGeex8MO1K4Q 提取码:1004 目录第一步 JDK下载第二步安装JDK( ...
MySQL8.0.19下载安装及配置详细步骤
下载: 软件下载地址:https://www.mysql.com/downloads/ 进入主页后下滑见然后点击下图的MySQL Community Server 进入之后,点击Download进行 ...
Maven安装和配置详细步骤
作者有话说:什么是maven呢?为啥要学maven?这两个问题会在下面的文章里找到答案,带着问题阅读本文,你会受益良多. 目录为啥要学习maven? maven简介 maven安装搭建 Maven ...
Windows下的subversion（SVN）下载安装及配置 -详细步骤
一.安装: 1.下载网址[http://subversion.apache.org/ 2.选择Windows系统下的VisualSVN二进制安装文件 3.选择VisualSVN Server下,相应的 ...
Ambari安装和配置详细步骤
目录一.准备环境二.修改主机名和hosts文件三.关闭防火墙和selinux(所有主机均执行以下操作) 四.免密登陆(所有主机均执行以下操作) 五.同步时间六.配置安装yum源七.安装M ...
虚拟化操作系统ESXi 6.7安装配置详细步骤
ESXi 6.7安装配置详细步骤 ESXi安装方式: 新建一个虚拟机除了以下步骤,其他的都是常规操作硬件兼容性选择ESXI 6.7 虚拟化安装以及使用ESXI系统安装的ISO映像文件 1.开始安装 ...
Android Studio环境配置安装、搭建详细步骤及使用方法
APP准备工作如下 1.源码下载因为我已经下载好了就不演示了连下载都不会我就不说什么了. 稍后我会随教程发源码出去 jdk-8u77-windows-x64 萝卜app 1.1 mahuaTV这 ...
UBUNTU手动安装JDK的详细步骤
这篇文章主要介绍了UBUNTU手动安装JDK的详细步骤,大家参考使用吧先去 Oracle下载Linux下的JDK压缩包,我下载的是jdk-7u4-linux-i586.tar.gz文件,下好后直接解 ...
linux下安装DB2的详细步骤
我也是才学习,在网上找了一个在linux下安装DB2 的步骤,共享给大家看看了. linux下安装DB2的详细步骤! 第一步:检查程序包及其版本在软件包管理中查看下列软件包是否安装,如没有安装,先安 ...
OPGL+GLFW+GLEW配置详细步骤
转载自:https://blog.csdn.net/weixin_40921421/article/details/80211813 本文设计的工具包: 链接:https://pan.baidu.co ...

Spark安装及配置详细步骤

Spark安装及配置详细步骤相关推荐

最新文章

热门文章