Spark学习记录（二）Spark集群搭建

2019独角兽企业重金招聘Python工程师标准>>>

Hadoop Spark集群搭建，以及IDEA远程调试

环境：Hadoop-2.7.2 jdk-1.8 scala-2-11-12 spark-2.1.0

spark2.0.0开始，只支持Java8版本了，并且Java8版本最好相对高一点，并且从spark2.1.0开始只支持scala2.11了

scala下载地址（选择2.11.X以上版本）：http://www.scala-lang.org/download/
spark下载地址：http://spark.apache.org/downloads.html

由于我们的hadoop是2.7.2 版本，这里选择下载对应的spark版本。

首先，将scala和spark的tar包上传到我们的三台虚拟机上，并进行解压配置。

三台虚拟机IP：

192.168.194.131 Hadoop.Master
192.168.194.129 Hadoop.Slave1
192.168.194.130 Hadoop.Slave2

我们先来配置scala，在配置scala之前我们必须保证服务器上有Java8之后，配置scala的环境变量，编辑/etc/profile：

保存然后使其生效之后，执行scala -version观察输出：

如果输出对应版本号则说明配置成功。

接下来我们配置spark，首先就是环境变量：

然后我们进入spark目录下的conf目录，去配置两个配置文件spark-env.sh slaves

首先我们编辑spark-env.sh，将spark-env.sh.template文件重命名

然后我们编辑slaves，将slaves.template文件重命名，并且将hosts文件中我们的两个hadoop从节点的host也来充当我们的spark的从节点

然后我们进入spark目录下的sbin目录中执行start-all.sh，用jps命令观察各个节点的启动效果。

Master：

Slave：

遇到的坑：

1.stop-all.sh执行关闭spark集群的时候，worker节点没有正常关闭（原因看第3点）

2.spark UI在单机节点的时候访问地址为 IP:4040 ，集群状态下的访问地址为IP:8080。

3.由于我的hadoop的环境变量中，将hadoop目录下的sbin目录配置到了PATH中，导致我在spark目录下的sbin目录下执行start-all.sh/stop-all.sh时，总是执行hadoop的start-all.sh/stop-all.sh，想执行spark的start-all.sh只能通过绝对路径执行

转载于:https://my.oschina.net/u/3687664/blog/2876015

Spark学习记录（二）Spark集群搭建相关推荐

大数据之spark学习记录二: Spark的安装与上手
大数据之spark学习记录二: Spark的安装与上手文章目录大数据之spark学习记录二: Spark的安装与上手 Spark安装本地模式 Standalone 模式基本配置步骤1: 复制 ...
系统学习redis之二——redis集群搭建
redis单点部署: 安装命令: # cd /usr/local/ # wget http://download.redis.io/releases/redis-4.0.1.tar.gz #下载安装包 ...
Kafka 教程（二）集群搭建和容错性测试
2019独角兽企业重金招聘Python工程师标准>>> 在之前我们已经安装过kafka,我们直接进行单机多broker搭建.kafka安装请参考:kafka 教程(一) 第一个实例 ...
Kafka 详解（二）------集群搭建
这里通过 VMware ,我们安装了三台虚拟机,用来搭建 kafka集群,虚拟机网络地址如下: hostname ipaddress ...
ES学习笔记(二)：集群配置与启动 --mac环境
1 环境准备: 复制原有es文件,分别为三个文件夹:Node-8001,Node-8002,Node-8003 删除三个文件夹中的data文件,清除log文件修改配置文件 1.1修改配置文件配置文 ...
故障转移集群搭建高可用文件共享服务器
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一.故障转移集群是什么? 二.什么是仲裁盘? 三.添加故障转移集群功能四.故障转移集群的建立五.配置集群仲裁盘六 ...
【MongoDB】MongoDB备份恢复与集群搭建方案
MongoDB持久化与集群搭建实例一.mongoDB备份与恢复 1.1 mongodump命令来备份数据 1.2 MongoDB数据恢复二.集群搭建 2.1 机制 2.2 架构 2.3 搭建步骤 ...
redis主从集群搭建及容灾部署(哨兵sentinel)
Redis也用了一段时间了,记录一下相关集群搭建及配置详解,方便后续使用查阅. 提纲 Redis安装整体架构 Redis主从结构搭建 Redis容灾部署(哨兵sentinel) Redis常见问题 ...
elasticsearch系列八：ES 集群管理（集群规划、集群搭建、集群管理）
一.集群规划搭建一个集群我们需要考虑如下几个问题: 1. 我们需要多大规模的集群? 2. 集群中的节点角色如何分配? 3. 如何避免脑裂问题? 4. 索引应该设置多少个分片? 5. 分片应该设置几个 ...
Zookeeper集群搭建(涵盖命令详解)与Error contacting service. It is probably not running的问题解决
搭建部分参考文章:http://www.cnblogs.com/luotianshuai/p/5206662.html 这篇博客分为四个部分: >>>zookeeper简介 > ...

Spark学习记录（二）Spark集群搭建

Hadoop Spark集群搭建，以及IDEA远程调试

Spark学习记录（二）Spark集群搭建相关推荐

最新文章

热门文章