两步实现spark集群

进入spark 的安装目录下的sbin文件夹
master节点
#master的ip是192.168.1.8

这一步就是声明:我是Master!
你们这些worker向我看其听我指挥;

./start-master.sh --host 192.168.10.182#master的ip是192.168.10.182

slave节点

cd /home/luogan/spark_install/spark-2.3.1-bin-hadoop2.7/conf
cp spark-env.sh.template spark-env.sh
vi spark-env.sh

对slave节点进行配置,声明这个worker出多少人,SPARK_WORKER_CORES=1;
出多少钱,SPARK_WORKER_MEMORY=1g

JAVA_HOME=/home/luogan/spark_install/jdk1.8.0_151
SPARK_WORKER_CORES=1
SPARK_WORKER_MEMORY=1g

cp slaves.template slaves
vi slaves
你打算在哪几个主机上放worker就在slaves里加入它的主机名
luogan

进入slave电脑下的 spark 的安装目录下的sbin文件夹

./start-slave.sh spark://192.168.1.8:7077

通过下面这条命令就可以在集群环境下进行操作

#./bin/spark-shell --master spark://IP:PORT
./bin/spark-shell --master spark://luogandeMacBook-Pro.local:7077

官方文档

参考链接

两步实现spark集群相关推荐

spark集群使用hanlp进行分布式分词操作说明
本篇分享一个使用hanlp分词的操作小案例,即在spark集群中使用hanlp完成分布式分词的操作,文章整理自[qq_33872191]的博客,感谢分享!以下为全文: 分两步: 第一步:实现han ...
Spark集群基于Zookeeper的HA搭建部署笔记（转）
原文链接:Spark集群基于Zookeeper的HA搭建部署笔记 1.环境介绍 (1)操作系统RHEL6.2-64 (2)两个节点:spark1(192.168.232.147),spark2(192 ...
如何将Jupyter Notebook连接到远程Spark集群并每天运行Spark作业？
As a data scientist, you are developing notebooks that process large data that does not fit in your ...
从0开始搭建基于Zookeeper的Spark集群
完全从0搭建Spark集群备注:这个步骤,只适合用root来搭建,正式环境下应该要有权限类的东西后面另外再进行实验写教程 1.安装各个软件,设置环境变量(每种软件需自己单独下载) export JA ...
Hadoop/Spark集群搭建图文全攻略
Hadoop/Spark集群搭建图文全攻略一.安装VMware 二.创建Linux虚拟机三.CentOS-7安装四.Linux系统环境配置五.其他配置六.虚拟机克隆七.jdk安装八.Zo ...
Spark集群中HA环境搭建
1.环境介绍 (1)操作系统ubuntu16.4.0 (2)两个节点:spark1(192.168.232.147),spark2(192.168.232.152) (生产环境下一般配置3台) (3) ...
AWS EC2 搭建 Hadoop 和 Spark 集群
前言本篇演示如何使用 AWS EC2 云服务搭建集群.当然在只有一台计算机的情况下搭建完全分布式集群,还有另外几种方法:一种是本地搭建多台虚拟机,好处是免费易操控,坏处是虚拟机对宿主机配置要求较高, ...
Spark-----Spark 与 Hadoop 对比，Spark 集群搭建与示例运行，RDD算子简单入门
目录一.Spark 概述 1.1. Spark是什么 1.2. Spark的特点(优点) 1.3. Spark组件 1.4. Spark和Hadoop的异同二.Spark 集群搭建 2.1. Sp ...
GIS+=地理信息+云计算技术——Spark集群部署
第一步:安装软件 Spark 1.5.4:wget http://www.apache.org/dyn/closer.lua/spark/spark-1.5.2/spark-1.5.2 ...

两步实现spark集群

两步实现spark集群相关推荐

最新文章

热门文章