Hadoop与Spark的集群复制

前面完成了Master主机上Hadoop与Spark的搭建，
现在我们将该环境及部分配置文件从Master分发到各个Worker节点上（以笔者环境为例）。
在集群环境中，由一台主机向多台主机间的文件传输一般使用pssh工具来完成。为此，在Master上建立一个文件workerlist.txt，其中保存了所有Worker节点的IP，每次文件的分发只需要一行命令即可完成。
1）复制JDK环境：

pssh -h workerlist -r /usr/lib/jvm/java-1.7 /

2）复制scala环境：

pssh -h workerlist -r /usr/local/scala /

3）复制Hadoop：

pssh -h workerlist -r /usr/local/hadoop /

4）复制Spark环境：

pssh -h workerlist -r /usr/local/spark /

5）复制系统配置文件：

pssh -h workerlist /etc/hosts /pssh -h workerlist /etc/profile /

至此，Spark Linux集群环境搭建完毕。
以上所有文章都是在搭建完毕

Hadoop与Spark的集群复制相关推荐

手把手教你搭建Hadoop生态系统伪分布式集群
Hello,我是 Alex 007,一个热爱计算机编程和硬件设计的小白,为啥是007呢?因为叫 Alex 的人太多了,再加上每天007的生活,Alex 007就诞生了. 手把手教你搭建Hadoop生态 ...
Spark基础学习笔记07：搭建Spark HA集群
文章目录零.本讲学习目标一.Spark HA集群概述二.Spark HA集群架构三.集群角色分配表四.Spark HA集群搭建步骤 (一)安装配置ZooKeeper 1.在虚拟机master ...
spark (3)Spark Standalone集群安装介绍
(1)初学者对于spark的几个疑问 http://aperise.iteye.com/blog/2302481 (2)spark开发环境搭建 http://aperise.iteye.com/blo ...
Kafka：ZK+Kafka+Spark Streaming集群环境搭建（九）安装kafka_2.11-1.1.0
如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...
spark在集群上运行
1.spark在集群上运行应用的详细过程 (1)用户通过spark-submit脚本提交应用 (2)spark-submit脚本启动驱动器程序,调用用户定义的main()方法 (3)驱动器程序与集群管 ...
Hadoop架构中各个集群在开发中的作用
学习大数据,如果只是零零散散地学习各个模块,就会深陷其中,很难深入了解hadoop架构中各个集群的作用.那么在实际开发中,究竟是怎样的一个流程呢?先看下面一张流程图: 接下来就用一些大白话,来讲解每个 ...
Hadoop HA 高可用集群搭建
Hadoop HA 高可用集群搭建一.首先配置集群信息 1 vi /etc/hosts 二.安装zookeeper 1.解压至/usr/hadoop/下 1 tar -zxvf zookeeper- ...
【Hadoop生态圈】1.Hadoop入门教程及集群环境搭建
文章目录 1.简介 2.环境准备 3.安装hadoop 3.修改Hadoop配置文件 3.1.hadoop-env.sh配置 3.2.core-site.xml配置 3.3.hdfs-site.xml ...
shell半自动化部署standalone的spark分布式集群
背景:以前每次配置hadoop和spark都要各种输入配置,太烦了.这次花了点时间,自己做了个shell来辅助自己的spark部署方式.cdh的hadoop没有部署,以后再部署,hadoop和spar ...

Hadoop与Spark的集群复制

Hadoop与Spark的集群复制

Hadoop与Spark的集群复制相关推荐

最新文章

热门文章