Linux 系统搭载spark开发环境

解压spark安装包

首先将spark-2.4.0-bin-without-hadoop.tgz 上传到hadoop01的/export/software/目录下，然后解压至 /export/servers/

[root@hadoop01 software]# tar -zvxf spark-2.4.0-bin-without-hadoop.tgz -C /export/servers/

为方便后续操作，使用命令将Spark的目录重新命名为spark，命令如下：

[root@hadoop01 servers]# mv spark-2.4.0-bin-without-hadoop/ spark

修改配置文件

1）进入spark/conf目录修改Spark的配置文件spark-env.sh，将spark-env.sh.template配置模板文件复制一份并命名为spark-env.sh，具体命令如下。

[root@hadoop01 conf]# cp spark-env.sh.template spark-env.sh

修改spark-env.sh文件，在该文件中添加以下内容：

export SPARK_DIST_CLASSPATH=$(/export/servers/hadoop/bin/hadoop classpath)

export JAVA_HOME=/export/servers/jdk

export HADOOP_HOME=/export/servers/hadoop

export SPARK_HOME=/export/servers/spark

export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.7-src.zip:$PYTHONPATH

export PYSPARK_PYTHON=python3

export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

export SPARK_MASTER_HOST=hadoop01

export SPARK_MASTER_PORT=7077

2）复制slaves.template文件，并重命名为slaves，通过vi命令添加以下内容具体命令如下：

[root@hadoop01 conf]# cp slaves.template slaves

[root@hadoop01 conf]# vi slaves

#添加内容

hadoop02

hadoop03

异常：后续主节点开启时出现worker，是因为localhost没有删除，后续删除后无异常出现

分发文件

scp -r /export/servers/spark root@hadoop02:/export/servers/

scp -r /export/servers/spark root@hadoop03:/export/servers/

启动Spark集群

在/export/servers/spark目录下执行命令开启，命令如下：

[root@hadoop01 spark]# sbin/start-all.sh

访问https://hadoop01:8080；来查看集群状态

Linux 系统搭载spark开发环境相关推荐

在华为云服务器的Linux系统中搭建开发环境
安装Jdk[Linux中安装](Centos7.6) 点击获取tar.gz包提取码:1tq5 把tar.gz包上传到/root目录 01_进入/root目录,将jdk解压到/usr/local下. ...
Linux 系统一键搭建开发环境
java jdk安装 CentOS之yum安装JDK | <Linux就该这么学> (linuxprobe.com) mysql 安装 Centos7上使用官方YUM源安装Mysql | ...
eclipse配置spark开发环境
前言无论Windows 或Linux 操作系统,构建Spark 开发环境的思路一致,基于Eclipse 或Idea,通过Java.Scala 或Python 语言进行开发.安装之前需要提前准备好JD ...
linux python qt 安装目录,Linux 下QT调用Python库文件以及Linux 安装Python3.8开发环境问题...
最近想运用linux系统下Qt来实现c++ 与python的混合编程,linux系统会自带python2.7版本或者python3.5版本(深度linux). Qt调用python文件需要在pro文件 ...
如何使用intellij搭建spark开发环境（下）
本文转自http://www.beanmoon.com/2014/10/11/%E5%A6%82%E4%BD%95%E4%BD%BF%E7%94%A8intellij%E6%90%AD%E5%BB%B ...
GCC编译器简明教程（Linux下C语言开发环境的搭建）
GCC编译器简明教程(Linux下C语言开发环境的搭建) 市面上常见的Linux都是发行版本,典型的Linux发行版包含了Linux内核.桌面环境(例如GNOME.KDE.Unity等)和各种常用的必 ...
Win10 IoT C#开发 1 - Raspberry安装IoT系统及搭建开发环境
原文:Win10 IoT C#开发 1 - Raspberry安装IoT系统及搭建开发环境 Windows 10 IoT Core 是微软针对物联网市场的一个重要产品,与以往的Windows版本不同, ...
IDEA2022 配置spark开发环境
本人强烈建议在 linux环境下学习 spark!!! Introduction Apache Spark是一个快速且通用的分布式计算引擎,可以在大规模数据集上进行高效的数据处理,包括数据转换.数据 ...
[Linux]在Linux上部署Java开发环境笔记（一）-- 补充：Linux下如何手动设置IP及配置DNS服务
在Linux上部署Java开发环境笔记(一) -- 补充:Linux下如何手动设置IP及配置DNS服务 2010/06/17 有的Linux系统会有网络设置的图形操作界面,比如"红旗Linu ...

Linux 系统搭载spark开发环境

Linux 系统搭载spark开发环境相关推荐

最新文章

热门文章