Spark集群新增节点方法

2024-04-06 22:32:10

Spark集群处理能力不足需要扩容，如何在现有spark集群中新增新节点？本文以一个实例介绍如何给Spark集群新增一个节点。

1. 集群环境

现有Spark集群包括3台机器，用户名都是cdahdp，主目录/home/ap/cdahdp，配置是2C8G虚拟机，集群基于yarn架构。

Master：128.196.54.112/W118PC01VM01

Slave1：128.196.54.113/W118PC02VM01

Slave2：128.196.54.114/W118PC03VM01

相关软件版本：jdk1.7、scala2.10.4、hadoop2.6.0、spark1.1

现在需要新增一个节点：128.196.54.115/W118PC04VM01，2C8G

首先停止当前集群：停止spark，停止hdfs和yarn。

2. 新节点要求

（1）新节点需要增加用户cdahdp，主目录/home/ap/cdahdp。与集群现有机器一致。

（2）修改所有节点的/etc/hosts文件，更新新节点的ip hostname配置。

（3）配置ssh，使新节点与集群中各节点能够无密码互相ssh登录。

（4）在新节点上安装jdk、scala、hadoop和spark。其版本，安装目录，环境变量设置与集群中现有节点保持一致。比如可以直接从集群节点赋值。

3. 配置文件修改

（1）修改$HADOOP_HOME/etc/hadoop/slaves文件，增加新节点作为slave节点。

（2）修改$SPARK_HOME/conf/slaves文件，增加新节点作为slave节点。

（3）格式化新节点的namenode：

cd $HADOOP_HOME/bin

./hdfs namenode -format

4. 启动新集群

启动hdfs，yarn，以及spark。

cd $HADOOP_HOME/sbin

./start-dfs.sh && ./start-yarn.sh

cd $SPARK_HOME/sbin

./start-all.sh

扩容以前：

扩容以后：

5. 集群的负载均衡

（1）查看HDFS集群的基本信息：执行hadoop dfsadmin -report

（2）负载均衡：在$HADOOP_HOME/sbin/下执行start-balancer.sh

说明：balancer操作是一个较慢的过程，所以在后台执行。balance过程中，数据在各节点之间迁移的速度默认是1M/s。

负载均衡之前：

执行负载均衡：

负载均衡之后：

至此，在spark集群增加新节点完毕。

转载于:https://www.cnblogs.com/simplestupid/p/4695644.html

Spark集群新增节点方法相关推荐

ES集群新增节点无法加入集群 timed out while waiting for initial discovery state - timeout: 30s
ES : 7.5.0 ES集群新增节点无法加入集群 timed out while waiting for initial discovery state - timeout: 30s ES集群需 ...
HDFS和YARN集群新增节点
目录静态新增动态新增 Hadoop HDFS 数据自动平衡脚本使用方法静态新增静态新增的方式,相当于我们最开始部署Hadoop集群规划一样,停止集群,新增一个DateNode数据节点,这种方法 ...
如何将Jupyter Notebook连接到远程Spark集群并每天运行Spark作业？
As a data scientist, you are developing notebooks that process large data that does not fit in your ...
spark集群访问mysql_一种Spark并行访问MPP数据库的方法与流程
本发明涉及数据库技术领域: :,具体来说,涉及一种Spark并行访问MPP数据库的方法. 背景技术: ::从关系数据库读取数据,Spark可以使用DataFrame和JdbcRDD等方法.这些方法在 ...
Spark集群启动时worker节点启不起来
在spark集群中使用命令: sbin/start-all.sh 启动集群时报错: starting org.apache.spark.deploy.master.Master, logging to ...
AWS EC2 搭建 Hadoop 和 Spark 集群
前言本篇演示如何使用 AWS EC2 云服务搭建集群.当然在只有一台计算机的情况下搭建完全分布式集群,还有另外几种方法:一种是本地搭建多台虚拟机,好处是免费易操控,坏处是虚拟机对宿主机配置要求较高, ...
Spark详解（六）：Spark集群资源调度算法原理
1. 应用程序之间在Standalone模式下,Master提供里资源管理调度功能.在调度过程中,Master先启动等待列表中应用程序的Driver,这个Driver尽可能分散在集群的Worker节 ...
spark 集群单词统计_最近Kafka这么火，聊一聊Kafka：Kafka与Spark的集成
Spark 编程模型在Spark 中, 我们通过对分布式数据集的操作来表达计算意图 ,这些计算会自动在集群上井行执行这样的数据集被称为弹性分布式数据集 Resilient Distributed ...
spark 广播变量大数据_大数据处理 | Spark集群搭建及基本使用
点击蓝字关注我前面用了一篇文章详细的介绍了集群HDFS文件系统的搭建,HDFS文件系统只是一个用于存储数据的系统,它主要是用来服务于大数据计算框架,例如MapReduce.Spark,本文就接着上一 ...
spark集群访问mysql_spark连接数据源以及在spark集群上跑
1.spark连接mysql import org.apache.spark.SparkConf import org.apache.spark.sql.{SaveMode, SparkSession ...

最新文章

热门文章