Linux -Spark安装

1、使用fz上传spark压缩包到/app/tools/

2、进入tools目录

 cd /app/tools/

使用ls查看

3、解压文件

tar -zxvf spark-2.4.1-bin-hadoop2.7.tgz

![在这里插入图片描述](https://img-blog.csdnimg.cn/eacd1ec892f54c658e91b1564e4df51b.png

解压成功

4、删除spark文件压缩包

rm -rf spark-2.4.1-bin-hadoop2.7.tgz

（rm -rf obt_db.ql是我的另一个sql文件，你们无需此操作）

5、移动spark到/usr/local/spark

mv spark-2.4.1-bin-hadoop2.7/ /usr/local/spark

查看一下，此时tools下已没有spark

6、进入/usr/local/spark

cd /usr/local/spark/

6、进入/usr/local/spark下的conf并查看

cd conf/

（pwd是查看路径）

7、修改spark-env.sh.template名为 spark-env.sh

mv spark-env.sh.template spark-env.sh

8、修改 spark-env.sh并修改

vim spark-env.sh

进入spark-env.sh 后按i在第一行插入两行代码

export JAVA_HOAE=/usr/local/java
export SPARK_DIST_CLASSPATH =$(/usr/local/hadoop/bin/hadoop classpath)

9、查看jps

jps

10、检查spark是否安装成功

cd /usr/local/spark/sbin/

10.1

 ./start-all.sh

至此安装成功

11、启动spark

11.1 进入bin目录

cd ../bin/

11.2启动spark

./spark-shell

11.4 简单定义一个数组

var list = List(1,3,5,7,8)

完结撒花

Linux -Spark安装相关推荐

linux启动spark命令,在linux上安装spark
第一.通过xftp工具将spark安装包上传到linux上第二.解压spark到指定目录: tar -zxf /opt/software/spark-2.1.0-bin-hadoop2.7.tgz ...
基于Linux的Spark安装与环境配置
文章目录基于Linux的Spark安装与环境配置 1.Hadoop测试 1.1 启动hadoop 1.2 再次启动hadoop 1.3 查看是否成功 2.Scala安装与配置 2.1 下载scala ...
Linux环境Spark安装配置及使用
Linux环境Spark安装配置及使用 1. 认识Spark (1) Spark介绍大数据计算引擎官网:spark.apache.org/ 官方介绍:Apache Spark™ is a unif ...
linux安装spark安装（详解版-单机/伪分布）
spark安装前提条件至少已经安装好Hadoop 优质:Hadoop+Hbase+Hive hadoop单机/伪分布: https://blog.csdn.net/qq_46138492/arti ...
Spark安装与学习
摘要:Spark是继Hadoop之后的新一代大数据分布式处理框架,由UC Berkeley的Matei Zaharia主导开发.我只能说是神一样的人物造就的神器,详情请猛击http://www.spa ...
Spark安装配置指南
张佩云教授让我们做的学校服务器搭建Spark集群,网上的配置过程乍一看很容易,可我中间遇到了无数的问题...现在搭建成功了,把实际搭建过程和要点总结了一下. 创建hadoop用户如果你安装 Ubun ...
Linux中安装nc（netcat）常见问题
Linux中安装nc(netcat)常见问题 Spark Streaming编写wordCount程序时,在Linux集群中需要安装nc,来对程序中使用到的端口进行开放. 在安装nc的时候,常出现的问 ...
Spark快速入门指南 – Spark安装与基础使用
本文转载自Spark快速入门指南 – Spark安装与基础使用 Apache Spark 是一个新兴的大数据处理通用引擎,提供了分布式的内存抽象.Spark 正如其名,最大的特点就是快(Lightni ...
Linux下安装配置各种软件和服务
1. JDK 1.1. 解压Linux版本的JDK压缩包 yum -y install glibc.i686 #安装jdk源glibc(需要联网下载源) mkdir /usr/local/src/jd ...
Spark安装-环境搭建
Spark安装-环境搭建 1.1Spark简介 ApacheSpark 是用于大规模数据处理的统一分析引擎.是一个基于内存分布式计算框架.由于Spark基于内存,相对于hadoop的MapReduce ...

Linux -Spark安装

1、使用fz上传spark压缩包到/app/tools/

2、进入tools目录

3、解压文件

4、删除spark文件压缩包

5、移动spark到/usr/local/spark

6、进入/usr/local/spark

6、进入/usr/local/spark下的conf并查看

7、修改spark-env.sh.template名为 spark-env.sh

8、修改 spark-env.sh并修改

9、查看jps

10、检查spark是否安装成功

10.1

11、启动spark

11.1 进入bin目录

11.2启动spark

11.4 简单定义一个数组

Linux -Spark安装相关推荐

最新文章

热门文章