基于Linux的Spark安装与环境配置
文章目录
- 基于Linux的Spark安装与环境配置
- 1、Hadoop测试
- 1.1 启动hadoop
- 1.2 再次启动hadoop
- 1.3 查看是否成功
- 2、Scala安装与配置
- 2.1 下载scala
- 2.2 解压并重命名
- 2.3 配置环境
- 2.4 测试
- 3、Spark安装与配置
- 3.1 下载Spark
- 3.2 解压并重命名
- 3.3 配置环境
- 3.4 配置spark-env.sh
- 3.5 配置slaves(好像不需要)
- 3.6 启动(报错)
- 3.7 测试
- 3.8 查看Spark版本
基于Linux的Spark安装与环境配置
1、Hadoop测试
因为Spark是基于Hadoop上工作的,所以当我们使用Spark框架时,必须要确保Hadoop能够正常运行:
1.1 启动hadoop
cd /usr/local/hadoop
./sbin/start-all.sh
有BUG,内容如下:
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.
解决方法:SLF4J:Failed to load class org.slf4j.impl.StaticLoggerBinder.
1.2 再次启动hadoop
cd /usr/local/hadoop/sbin
./start-all.sh
1.3 查看是否成功
jps
2、Scala安装与配置
2.1 下载scala
官方网址:https://www.scala-lang.org/download/2.13.10.html
使用wget
命令下载scala:
wget https://downloads.lightbend.com/scala/2.13.10/scala-2.13.10.tgz
2.2 解压并重命名
sudo tar zxvf ~/下载/scala-2.13.10.tgz -C /usr/local/ # 解压cd /usr/local
sudo mv scala-2.13.10 scala # 重命名
2.3 配置环境
# 1.编辑环境变量
sudo vi ~/.bashrc# 2.使其生效
source ~/.bashrc
2.4 测试
scala -version
3、Spark安装与配置
3.1 下载Spark
下载网址:https://archive.apache.org/dist/spark/spark-3.2.2/
使用wget
命令进行下载:
wget https://archive.apache.org/dist/spark/spark-3.2.2/spark-3.2.2-bin-hadoop3.2.tgz
3.2 解压并重命名
# 1.解压
sudo tar zxvf ~/下载/spark-3.2.2-bin-hadoop3.2.tgz -C /usr/local# 2.重命名
cd /usr/local
sudo mv spark-3.2.2-bin-hadoop3.2 spark
3.3 配置环境
# 1.编辑环境变量
sudo vi ~/.bashrc# 2.使其生效
source ~/.bashrc
3.4 配置spark-env.sh
进入到配置目录并打开spark-env.sh
文件:
cd /usr/local/spark/conf
sudo cp spark-env.sh.template spark-env.sh
sudo vi spark-env.sh
添加以下内容:
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SCALA_HOME=/usr/local/scala
export SPARK_HOME=/usr/local/spark
export SPARK_MASTER_IP=192.168.3.134
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_WEBUI_PORT=8099
export SPARK_WORKER_CORES=3
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=5G
export SPARK_WORKER_WEBUI_PORT=8081
export SPARK_EXECUTOR_CORES=1
export SPARK_EXECUTOR_MEMORY=1G
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$HADOOP_HOME/lib/native
3.5 配置slaves(好像不需要)
cd /usr/local/spark/conf
sudo vi workers.template
发现slaves文件里为localhost即本机地址,当前为伪分布式,因此不用修改!但要执行以下:
sudo cp workers.template slaves
3.6 启动(报错)
启动sbin
目录下的start-master.sh
以及start-slaves.sh
(前提是hadoop已启动):
cd /usr/local/spark
sudo ./sbin/start-master.sh
sudo ./sbin/start-slaves.sh
报错!!!
3.7 测试
通过运行Spark自带的示例,验证Spark是否安装成功:
cd /usr/local/spark
./bin/run-example SparkPi
报错信息如下:
2022-11-01 20:49:24,377 WARN util.Utils: Your hostname, leoatliang-virtual-machine resolves to a loopback address: 127.0.1.1; using 192.168.3.134 instead (on interface ens33)
参考博客:Spark启动:WARN util.Utils: Your hostname, … resolves to a loopback address: …; using … instead
修改配置文件,配置 SPARK_LOCAL_IP
变量即可:
cd /usr/local/spark
sudo vim conf/spark-env.sh# 添加以下内容:
export SPARK_LOCAL_IP=192.168.3.134 # 自己输出对应的IP
再次测试:
BUG解决!!!
执行时会输出非常多的运行信息,输出结果不容易找到,可以通过 grep 命令进行过滤:
./bin/run-example SparkPi 2>&1 | grep "Pi is"
3.8 查看Spark版本
cd /usr/local/spark
./bin/spark-shell
基于Linux的Spark安装与环境配置相关推荐
- windows配置gitlab秘钥并测试_你了解多少Linux系统GitLab安装与环境配置?
Linux系统GitLab安装与环境配置 注意:虚拟机的内存至少2G以上 一. 从GitLab官网获取安装方法和步骤: https://about.gitlab.com/installation/#c ...
- 教程-Spark安装与环境配置
总第130篇/张俊红 1.Spark介绍 Spark是一种通用的大数据计算框架,是基于RDD(弹性分布式数据集)的一种计算模型.那到底是什么,可能还不是太理解,通俗讲就是可以分布式处理大量极数据的,将 ...
- linux下Hadoop安装与环境配置
注:本文采用的Linux环境为deepin 15.11系统(是由武汉深之度科技有限公司开发的颜值极高的Linux发行版),以下命令经测试Ubuntu18.04版本同样适用.linux安装可采用虚拟机安 ...
- Linux Ubuntu20.04安装及环境配置细节分享
目录 1.Ubuntu和VMware虚拟机官方下载 2.在英文环境下配置中文拼音输入法 3.火狐浏览器看不了视频问题 4.配置代码编辑环境 5.隐藏桌面垃圾桶图标 6.关于网络问题个人的一些建议 因为 ...
- Linux | Node.js 安装与环境配置
简单来说,Node.js是运行在服务器端的JavaScript. 1.Node.js 下载 官方下载地址:Node.js Downloads 1.右击指定位置,复制链接地址 2.进入Linux自定义目 ...
- linux python 调试_Python安装与环境配置
[按]最近有纯文科背景的朋友想入门Python,问我首先得干嘛.那当然是安装Python了,因此我出这一期Python安装与环境配置的文章,这是定量城市研究从导论进入实操的第一篇推文.综合参考了菜鸟教 ...
- linux debian系统卸载jdk,Debian/Ubuntu系统 JDK卸载、安装、环境配置
环境:Linux内核版本4.17.Oracle jdk-11.0.2(JDK 8同样也是设置).Debian9系统 注意: 1.Open JDK和Oracle JDK的安装过程只是下载的连链接不一样 ...
- linux下svn客户端安装及环境配置
一.svn客户端安装及环境配置. 果所在的linux机器上没有安装svn客户端,则首先安装svn客户端: 1. subversion-1.4.3.tar.bz2 subversion-deps-1. ...
- 性能测试工具JMeter的安装及环境配置--Windows和Linux
一.搭建jmeter环境 本文介绍Windows和Linux平台下JMeter的安装及环境配置. 1.先说一下前提条件: jmeter是纯java开发的工具,所以要有java环境,至于如何搭建java ...
最新文章
- KDD 2021 即将开幕!当线上 AI 顶会开始内卷.....
- vs2015中文乱码
- Maven中的dependencyManagement 意义
- MyEclipse的Add Libraries对话框
- IT容灾系统周期管理图
- 深入理解 HTTPS
- QT的QBoxLayout类的使用
- LeetCode 92. Reverse Linked List II
- Survivor区详解
- 数据结构与算法(6) -- heap
- 分布式系统关注点(2)——烦人的数据不一致问题到底怎么解决?——通过“共识”达成数据一致性...
- c语言怎么产生随机字母,菜鸟求助,写一个随机输出26个英文字母的程序
- From NSURLConnection to NSURLSession
- I00020 计算卡特兰数函数
- Linux进程管理及作业控制(转)
- PowerShell_零基础自学课程_9_高级主题:静态类和类的操作
- BIO、NIO、AIO的简单个人理解,同步异步和阻塞非阻塞的简单理解
- [培训-无线通信基础-6]:信道编码(分组码、卷积吗、Polar码、LDPC码、Turbo码)
- Android 通知设置
- html+css制作静态小米商城页面(含css手动轮播图)