参考：http://blog.51cto.com/12824426/2177663?source=drh

一、集群的规划

Zookeeper集群：
192.168.176.131 （bigdata112）
192.168.176.132 （bigdata113）
192.168.176.135 （bigdata114）

Hadoop集群：
192.168.176.131 （bigdata112） NameNode1 ResourceManager1 Journalnode
192.168.176.132 （bigdata113） NameNode2 ResourceManager2 Journalnode
192.168.176.135 （bigdata114） DataNode1 NodeManager1
192.168.176.136 （bigdata115） DataNode2 NodeManager2

二、准备工作

1、安装JDK
2、配置环境变量
3、配置免密码登录
4、配置主机名

三、配置时间同步

配置ntp启动项

chkconfig ntpd on

同步时间

ntpdate ntp.sjtu.edu.cn

启动ntpd服务

/etc/init.d/ntpd start

验证ntp服务已经运行

pgrep ntpd

初始同步

ntpdate -u ntp.sjtu.edu.cn

确认同步成功

ntpq -p

PS:可以一次性输入以上命令

chkconfig ntpd on

ntpdate ntp.sjtu.edu.cn

/etc/init.d/ntpd start

pgrep ntpd

ntpdate -u ntp.sjtu.edu.cn

ntpq -p

四、配置Zookeeper（在192.168.176.131安装）

在主节点（bigdata112）上配置ZooKeeper

（*）配置/training/zookeeper-3.4.6/conf/zoo.cfg文件

dataDir=/training/zookeeper-3.4.6/tmpserver.1=bigdata112:2888:3888
server.2=bigdata113:2888:3888
server.3=bigdata114:2888:3888

（*）在/training/zookeeper-3.4.6/tmp目录下创建一个myid的空文件
echo 1 > /training/zookeeper-3.4.6/tmp/myid

（*）将配置好的zookeeper拷贝到其他节点，同时修改各自的myid文件

        scp -r /training/zookeeper-3.4.6/ bigdata113:/trainingscp -r /training/zookeeper-3.4.6/ bigdata114:/training

（*）分别修改113和114上/training/zookeeper-3.4.6/tmp/myid为2和3

~/有空再做修改吧0.0

转载于:https://www.cnblogs.com/zuizui1204/p/9777612.html

搭建hadoop的HA集群模式（hadoop2.7.3+hive+spark）相关推荐

『实践』VirtualBox 5.1.18+Centos 6.8+hadoop 2.7.3搭建hadoop完全分布式集群及基于HDFS的网盘实现...
『实践』VirtualBox 5.1.18+Centos 6.8+hadoop 2.7.3搭建hadoop完全分布式集群及基于HDFS的网盘实现 1.基本设定和软件版本主机名 ip 对应角色 mas ...
Hadoop集群搭建（五：Hadoop HA集群模式的安装）
实验目的要求目的: 1.Hadoop的高可用完全分布模式的安装和验证要求: 完成Hadoop的高可用完全分布模式的安装: Hadoop的相关服务进程能够正常的启动: HDFS能够正常的使用: ...
（五）Hadoop HA高可用集群的配置-Hadoop HA集群模式的安装
目录一.目的及要求: 实验目的: 实验要求: 二.环境要求: 集群规划: 三.具体步骤: 项目一:Hadoop的基本安装配置项目二:Hadoop高可用完全分布模式配置项目三:同步安装和配置项目 ...
Spark自带的集群模式（Standalone），Spark/Spark-ha集群搭建
1.Spark自带的集群模式对于Spark自带的集群模式,Spark要先启动一个老大(Master),然后老大Master和各个小弟(Worker)进行通信,其中真正干活的是Worker下的Exec ...
大数据开发技术课程报告（搭建Hadoop完全分布式集群操作集群）
文章目录大数据开发技术课程报告内容及要求一. 项目简介和实验环境二. 虚拟机的各项准备工作三. 安装JDK并配置环境变量四. 安装Hadoop并配置环境变量五. 配置Hadoop完全分布式 ...
Hadoop框架：集群模式下分布式环境搭建
本文源码:GitHub·点这里 || GitEE·点这里一.基础环境配置 1.三台服务准备三台Centos7服务,基础环境从伪分布式环境克隆过来. 133 hop01,134 hop02,136 ...
hadoop 查看节点主备装填_基于ZooKeeper搭建Hadoop高可用集群
作者博客:https://blog.csdn.net/m0_37809146/ 一.高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用 ...
一次性搭建Hadoop高可用集群
前期准备: 1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映射关系 /etc/hosts 注意:如果你们公司是租用的服务器或是使用的云主机(如华为用主机.阿里云主机等) /etc/ho ...
超级无敌详细使用ubuntu搭建hadoop完全分布式集群
一.软件准备安装VMware 下载ubuntu镜像(阿里源ubuntu下载地址)选择自己适合的版本,以下我使用的是18.04-server版就是没有桌面的.安装桌面版如果自己电脑配置不行的话启动集群 ...

搭建hadoop的HA集群模式（hadoop2.7.3+hive+spark）

一、集群的规划

二、准备工作

三、配置时间同步

四、配置Zookeeper（在192.168.176.131安装）

搭建hadoop的HA集群模式（hadoop2.7.3+hive+spark）相关推荐

最新文章

热门文章