Spark 集群安装

一、安装jdk

二、安装scala

三、安装Spark

1、解压

tar -zxvf spark-1.5.1-bin-hadoop2.6.tgz

2、cp spark-env.sh.template spark-env.sh

vi spark-env.sh

# Hadoop配置文件目录
export HADOOP_CONF_DIR=/data/hadoop-2.7.1/etc/hadoop# SCALA路径
export SCALA_HOME=/data/scala-2.10.6
export JAVA_HOME=/data/jdk1.7.0_79
export SPARK_LOCAL_DIRS=/data/spark-1.5.1-bin-hadoop2.6
export SPARK_CONF_DIR=/data/spark-1.5.1-bin-hadoop2.6/confexport SPARK_MASTER_IP=192.168.1.105
export SPARK_MASTER_PORT=7077#work执行任务使用本地磁盘的位置
export SPARK_WORKER_DIR=/data/spark-1.5.1-bin-hadoop2.6/tmp

　　3、work节点，输入主机名或者ip

cp slaves.template slaves

vi slaves

# A Spark Worker will be started on each of the machines listed below.
node1
node2
node3

　4、启动：

sbin/start-all.sh

查看进程：master1：

7438 Master

其他work 节点：

21454 Worker

5、关闭

sbin/stop-all.sh

转载于:https://www.cnblogs.com/fillPv/p/5912351.html

Spark 集群安装相关推荐

大数据之Spark集群安装及简单使用
目录 1.Spark集群安装 1.1. 安装 2.启动Spark Shell 2.1.启动spark shell 2.2.在spark shell中编写WordCount程序目录 1.Spark集群 ...
Spark集群安装介绍
(1)初学者对于spark的几个疑问 http://aperise.iteye.com/blog/2302481 (2)spark开发环境搭建 http://aperise.iteye.com/blo ...
Spark 个人实战系列(1)--Spark 集群安装
前言: CDH4不带yarn和spark, 因此需要自己搭建spark集群. 这边简单描述spark集群的安装过程, 并讲述spark的standalone模式, 以及对相关的脚本进行简单的分析. s ...
Spark集群安装和WordCount编写
一.Spark概述官网:http://spark.apache.org/ Apache Spark™是用于大规模数据处理的统一分析引擎.为大数据处理而设计的快速通用的计算引擎.Spark加州大学伯克 ...
【Spark亚太研究院系列丛书】Spark实战高手之-构建Spark集群-安装Ubuntu系统(3)
2019独角兽企业重金招聘Python工程师标准>>> 启动虚拟机,正是开启Ubuntu系统的安装! 点击"Power on this virtual machine&qu ...
二、安装Spark集群
[一个很疑惑的问题]为什么我们一直在反复做一个操作:就是scp拷贝过来拷贝过去? [答案]这是为了将文件或目录的权限修改成hadoop所属组. 一. 下载Spark安装包并传给mster机器,使权限是 ...
CentOS7下Spark集群的安装
从物理部署层面上来看,Spark主要分为两种类型的节点,Master节点和Worker节点,Master节点主要运行集群管理器的中心化部分,所承载的作用是分配Application到Worker节点, ...
spark (3)Spark Standalone集群安装介绍
(1)初学者对于spark的几个疑问 http://aperise.iteye.com/blog/2302481 (2)spark开发环境搭建 http://aperise.iteye.com/blo ...
Spark集群环境搭建（standalone模式）
Spark集群环境搭建(standalone模式) 1. 实验室名称: 2. 实验项目名称: 3. 实验学时: 4. 实验原理: 5. 实验目的: 6. 实验内容: 7. 实验器材(设备.虚拟机名称) ...

Spark 集群安装

Spark 集群安装相关推荐

最新文章

热门文章