linux启动spark命令,在linux上安装spark

第一、通过xftp工具将spark安装包上传到linux上

第二、解压spark到指定目录：

tar -zxf /opt/software/spark-2.1.0-bin-hadoop2.7.tgz -C /opt/module/

第三、配置

1、在spark安装路径配置spark-env.sh,我的路径是/opt/module/spark-2.1.0-bin-hadoop2.7/conf

输入命令：vi spark-env.sh，如下

export JAVA_HOME=/root/training/jdk1.7.0_75(填自己的java_home配置路径)

export SPARK_MASTER_HOST=bigdata111(填自己的主节点)

export SPARK_MASTER_PORT=7077

2、在conf文件夹下配置slaves文件，

先输入命令：cp slaves.template slaves

再输入命令：vi slaves

然后添加自己的节点域名：

我的是：bigdata111

3.在sbin文件夹下用命令./start-all.sh启动spark,用jps命令查看进程

4.进入bin文件夹下，输入./spark-shell --master spark://bigdata111:7077,显示如下，则表示spark的伪分布式搭建成功

5.配置完全分布式环境，首先修改conf文件夹下的slaves文件，我的是添加

bigdata111

bigdata112

bigdata113

6.将配置好的虚拟机的配置信息复制到其他虚拟机的同名目录下

scp -r spark-2.1.0-bin-hadoop2.7/ root@bigdata112:/opt/module/

7.在sbin文件夹下用命令./start-all.sh启动spark,用jps命令查看进程,也可以在浏览器上查看：

输入主节点：8080，显示如下，则表示spark完全分布式搭建成功。

linux启动spark命令,在linux上安装spark相关推荐

怎么用命令启动服务器文件,linux启动服务器命令
linux启动服务器命令内容精选换一换安装Linux版的迁移Agent时,您输入AK/SK并启动迁移Agent后,提示"No such file or directory: 'rsyn ...
Linux启动tomcat命令行关闭后服务会停止
最近因为项目需要迁移到云服务器上.自己一个开发还要兼顾运维的事情真是太难了.由于不熟悉.遇到一些各种各样的小坑.在此记录一下. 问题:Linux启动tomcat命令行关闭后服务会停止? 一般Linux ...
linux lnmp重启nginx,梳理三个常见Linux启动Nginx命令（包括Nginx 重启、停止、启动命令）...
我们大部分网站或者WEB缓解都会使用Nginx引擎缓解,比如LNMP一键包.宝塔面板,或者其他的WEB环境,但是每个环境中启动和重启.停止Nginx命令是不同的.这里简单的梳理Linux启动Nginx ...
在linux（ubuntu16.04）系统上安装RTL8822CE网卡驱动
在linux(ubuntu16.04)系统上安装RTL8822CE网卡驱动 1.下载8822CE驱动https://github.com/alanfox2000/realtek-linux/tree/ ...
【吐血经验】在 windows 上安装 spark 遇到的一些坑 | 避坑指南
在 windows 上安装 spark 遇到的一些坑 | 避坑指南最近有个活:给了我一个阿里云桌面(windows 10系统),让我在上面用 scala + spark 写一些东西. 总是报错不断, ...
linux制作电脑启动盘,Linux启动盘的制作Linux -电脑资料
Linux的启动软盘有boot盘和boot/root盘之分,所谓的boot盘只能用来启动已经安装在硬盘上的 Linux系统 ,而boot/root盘本身就是一个迷你Linux系统, Linux的启动 ...
LInux 项目二命令总结,linux项目管理常用命令小结
当前位置:我的异常网» 项目管理 » linux项目管理常用命令小结 linux项目管理常用命令小结 www.myexceptions.net 网友分享于:2015-08-26 浏览:13次 li ...
linux中make命令大全,Linux中的命令 make -f 是什么意思
二.Makefile的文件名默认的情况下,make命令会在当前目录下按顺序找寻文件名为"GNUmakefile"."makef ile"."Make ...
linux系统tar命令慢,Linux系统下tar命令的使用技巧
<Linux系统下tar命令的使用技巧>由会员分享,可在线阅读,更多相关<Linux系统下tar命令的使用技巧(3页珍藏版)>请在装配图网上搜索. 1.Linux系统下tar命 ...
linux 限制带宽命令，Linux服务器限制网络带宽流量速率（限制应用程序和指定网卡的流量）
linux 限制带宽命令,Linux服务器限制网络带宽流量速率一.限制应用程序的网络流量速率 1.trickle介绍 2.如何判断trickle对应用程序是否有效? 3.Linux安装Trickle ...

linux启动spark命令,在linux上安装spark

linux启动spark命令,在linux上安装spark相关推荐

最新文章

热门文章