Linux Spark安装教程

先把安装包上传到linux中,并且解压到目录

 vi /etc/profile 配置环境变量 添加以下变量 /opt/soft/spark 是你解压的目录路径

进入到conf目录下复制一个spark-env.sh副本

进入副本在下面添加以下以下配置

# 添加java环境
export JAVA_HOME=/opt/soft/jdk
# 主节点 hadoop1是主机名
export SPRAK_MASTER_HOST=hadoop1
# 端口
export SPARK_MASTER_PORT=7077
export SPARK_WASTER_CORES=1
#运行内存
export SPARK_WASTER_MEMORY=1g
#路径
export SPARK_CONF_DIR=/opt/soft/spark/conf

复制一个 slaves的副本

cp slaves.template slaves
进入副本并添加另外两台主机名

通过scp把配置好的环境传到另外两台主机里

scp -r /opt/soft/spark/ hadoop2:/opt/soft/scp /etc/profile hadoop3:/etc/

全部传完后进入sbin目录启动spark即可

spark-submit --class org.apache.spark.examples.SparkPi --master spark://hadoop1:7077 /opt/soft/spark/examples/jars/spark-examples_2.11-2.1.1.jar 100

跑案例测试效果

查看历史运行结果
http://192.168.10.101:8080/

Linux Spark安装教程相关推荐

spark服务器安装系统,spark安装教程
spark安装教程 [2021-02-19 17:55:36] 简介: php去除nbsp的方法:首先创建一个PHP代码示例文件:然后通过"preg_replace("/(\s| ...
win7 安装深度linux系统安装教程,深度技术win7旗舰版linux虚拟机安装教程
有用户在问,想在win7系统的用户想在虚拟机中安装linux系统,却不知Win7怎么进行linux虚拟机安装呢?方法其实并不复杂,下面介绍深度技术win7旗舰版linux虚拟机安装教程. 1.想要在w ...
rabbitMQ在linux上安装教程和问题解决
@rabbitMQ在linux上安装教程和问题解决在linux上安装r## 标题abbitmq出现了Starting rabbitmq-server: FAILED - check /var/log ...
VirtualBox 安装以及 CentOS Linux 系统环境安装教程
一.VirtualBox 安装教程先去官网下载然后一直点下一步就行了. 这里出现了 Windows 安全中心的提示,选择安装: VirtualBox 安装完成. 二.CentOS Linux 系 ...
宝塔面板免费版怎样安装-宝塔Linux面板安装教程-详细步骤-命令-干什么用的
宝塔面板免费版怎样安装? 执行一键安装命令即可安装,操作方便. 安装命令: Centos安装脚本 yum install -y wget && wget -O install.sh h ...
linux内核安装教程
linux内核安装教程内核是操作系统的核心,是一个系统软件.负责管理系统中的进程.内存.设备驱动程序.文件和网络. 内核的组成:进程管理.定时器.中断管理.内存管理.模块管理.虚拟文件系统接口.文件 ...
kali linux的安装教程
kali linux的安装教程在网上输入网址https://www.kali.org/get-kali/#kali-virtual-machines. 向下滚动鼠标滑轮选择如下图所示的图标进行安装i ...
IBM Lotus Symphony Linux版安装教程cdlinux教程
超级跑车品牌排行组图:杨钰莹节目现场遭选手羞辱.. 宜宾再酿酒驾悲剧男子驾车将行人撞飞30.. "最大学生"网友1IBM Lotus Symphony Linux版安装教程cdl ...
Linux redis安装教程,Linux 下redis5.0.0安装教程详解
Linux redis5.0.0安装,教程如下所示: 1.从官网下载,然后传到服务器,tar -zxvf解压 2.进入redis ? 3.安装:make, (1)若提示:: gcc: Command ...
linux lanmp 安装教程,linux服务器一键安装包lanmp系列教程之一
在我们安装了linux服务器WEB环境一键安装包lanmp后,可能会有不少疑问还有就是使用过程中出现的问题,下面为大家总结几点比较常见的,如若还有其他疑问,可到wdlinux论坛寻找相关教程. 1.如 ...

Linux Spark安装教程

Linux Spark安装教程相关推荐

最新文章

热门文章