spark的安装详细步骤

1.下载spark地址
http://spark.apache.org/downloads.html
2.把下载好的压缩包拖拽到虚拟机的software（自己建的）目录下
3.进入到software目录里面把压缩包解压到 /opt 目录下

cd /software
tar -zxvf spark-2.4.5-bin-hadoop2.6.tgz -C /opt/

4.进入opt目录里面将安装好的spark改名

cd /opt
mv spark-2.4.5-bin-hadoop2.6 spark245

5.目录切换到/opt/spark245/conf 文件夹下面：cd /opt/spark245/conf

6.复制spark-env.sh.template 改名为spark-env.sh 到conf目录下：cp spark-env.sh.template spark-env.sh
7.编辑spark-env.sh 文件添加一下内容

export JAVA_HOME=/opt/jdk1.8.0_221
export SCALA_HOME=/opt/scala211
export SPARK_HOME=/opt/spark245
export SPARK_MASTER_IP=hadoop
export SPARK_EXECUTOR_MEMORY=1G

SPARK_DRIVER_MEMORY
该参数设置的是DRIVER分配的内存的大小。也就是执行start-thriftserver.sh机器上分配给thriftserver的内存大小。
如果不是单机的需要配置下slaves.template

8.配置环境变量

export SPARK_HOME=/opt/spark245
export PATH=$PATH:$SPARK_HOME/bin

9.source /etc/profile
10.输入：spark-shell

spark的安装详细步骤相关推荐

Cacti安装详细步骤
Cacti安装详细步骤前提LNMP或LAMP架构已搭建完成一.cacti概述 1. cacti是用php语言实现的一个软件,它的主要功能是用snmp服务获取数据,然后用rrdtool储存和更新数据 ...
redis3.0.0 集群安装详细步骤
2019独角兽企业重金招聘Python工程师标准>>> redis3.0.0 集群安装详细步骤博客分类: 缓存 Redis集群部署文档(centos6系统) (要让集群正常工作至少 ...
python软件下载安装要钱吗-PyCharm下载和安装详细步骤
PyCharm下载和安装进入https://www.jetbrains.com/pycharm/download/#section=windowsPyCharm官方下载页面(如图 2 所示),可以看 ...
python官方下载步骤-Python 下载及安装详细步骤
安装python分三个步骤: *下载python *安装python *检查是否安装成功 1.下载Python (2)选择下载的版本 (3)点开Download后,找到下载文件 Gzipped sou ...
redis3.0.2 分布式集群安装详细步骤
redis3.0.2 分布式集群安装详细步骤 --(centos5.8 X64系统) 版本历史时间版本说明编写者 2015-06-5 1.0 redis3.0.2 分布式集群安装详细步骤 cs ...
安装python应该先安装pycharm还是python_Pycharm及python安装详细步骤及PyCharm配置整理(推荐)...
首先我们来安装python 1.首先进入网站下载:点击打开链接(或自己输入网址: https://www.python.org/downloads/),进入之后如下图,选择图中红色圈中区域进行下载. ...
linux离线安装pyhs2,Python 下载及安装详细步骤
安装python分三个步骤: *下载python *安装python *检查是否安装成功 1.下载Python (2)选择下载的版本 (3)点开Download后,找到下载文件 Gzipped sou ...
MySQL5.5.15_linux下mysql-5.5.15安装详细步骤
linux下mysql-5.5.15安装详细步骤注:该文档中用到的目录路径以及一些实际的值都是作为例子来用,具体的目录路径以各自安装时的环境为准 mysql运行时需要一个启动目录.一个安装目录和一个 ...
linux下mysql-5.5.15安装详细步骤
linux下mysql-5.5.15安装详细步骤注:该文档中用到的目录路径以及一些实际的值都是作为例子来用,具体的目录路径以各自安装时的环境为准 mysql运行时需要一个启动目录.一个安装目录和一个 ...
python安装详细步骤mac_mac如何安装python3
mac上自带了python2.7 但是由于工作需要需要安装python3.如何安装python3,接下来手把手教你! 可以参考这篇Python安装文章:<python3安装详细步骤> 有2 ...

spark的安装详细步骤

spark的安装详细步骤相关推荐

最新文章

热门文章