Hadoop4——HA集群的搭建（高可用）

2024-06-06 06:50:18

Hadoop——高可用（HA）

配置文件的截图是最初的，有一些小错误，想要配置文件可以评论。可以先浏览操作步骤。

一.配置须知：集群主节点

二.安装配置zookeeper

前提：jdk和hadoop环境已经搭建好

1. 下载安装

rz 下载安装zookeeper

tar解压到 /export/server中

vi etc/profile

2. 配置文件

配置zoo.cfg

保存退出

创建以下文件夹

分发文件到其它两个节点

然后修改各自的myid文件

关闭防火墙

开启zookeeper服务

查看zookeeper状态

三.搭建Hadoop的高可用集群

1. 使用notepad++

2. 修改core-site.xml

3. 修改hdfs-site.xml

后续会进行格式化，格式化成功的标志！！

4. 修改marped-site.xml

5. 修改yarn-site.xml

6. 修改workers

7. 修改hadoop-env.sh

新增加

8. 分发配置文件

在各个节点重新加载配置文件

四.启动HA集群

1. 启动各个节点的zookeeper服务

2.启动集群各个节点监控namenode的管理日志journalNode

3.在node-01上格式化namenode，并分发到node-02

在配置文件中发现了这里是 , —> 改为 .

因为多次修改配置文件和进行格式化操作，使ns1文件不为空

然后发现node-02和node-03的ns1文件也不为空，通通删除

执行 hdfs namenode -format

终于成功

分发文件给node-02

还是不对。然后试一试，结果手打一遍就可以，不知道为什么，无语

4. 在node-01上格式化ZKFC

5. 在node-01上启动hdfs

报错

再整体又修改了配置文件之后

这里应该为 .

整体又修改了配置文件之后

修改后分发，重新加载，重启服务

6. 在node-01上启动yarn

7. 查看是否启动成功

node-02多了resourcemanager，我不知道是哪里的问题。

Hadoop4——HA集群的搭建（高可用）相关推荐

k8s高可用集群_搭建高可用集群(初始化和部署keepalived)---K8S_Google工作笔记0055
技术交流QQ群[JAVA,C++,Python,.NET,BigData,AI]:170933152 然后我们来部署keepalived,搭建高可用集群. 然后我们这里需要master,155, ma ...
k8s高可用集群_搭建高可用集群(实现方式介绍)---K8S_Google工作笔记0054
技术交流QQ群[JAVA,C++,Python,.NET,BigData,AI]:170933152 然后我们来说搭建高可用集群,为什么要搭建高可用集群. 因为,首先我们说master节点是用来管理其 ...
适合入门hadoop 2.7.7的集群环境搭建高可用版本配置(保姆版)
需要的安装包: 1.jdk压缩包 2.hadoop压缩包百度云盘链接开始搭建hadoop集群 1 集群规划安装VMware,使用三台虚拟机进行集群搭建,下面是每台虚拟机的规划: 2 网络配置 2 ...
k8s高可用集群_搭建高可用集群(部署master2和node节点)---K8S_Google工作笔记0058
技术交流QQ群[JAVA,C++,Python,.NET,BigData,AI]:170933152 然后上一节我们把master1节点,搭建完成了,接下来我们把下面的 master2节点以及node ...
k8s高可用集群_搭建高可用集群(部署master1节点初始化)---K8S_Google工作笔记0057
技术交流QQ群[JAVA,C++,Python,.NET,BigData,AI]:170933152 然后我们去部署我们的master1节点.以及去初始化我们的master1节点. 我们设置启动 sy ...
k8s高可用集群_搭建高可用集群(部署haproxy和安装docker以及其他组件)---K8S_Google工作笔记0056
技术交流QQ群[JAVA,C++,Python,.NET,BigData,AI]:170933152 然后我们再去安装haproxy,实现负载均衡. 然后 yum install -y haproxy ...
（超详细）基于Zookeeper的Hadoop HA集群的搭建
基于Zookeeper的Hadoop HA集群的搭建 JunLeon--go big or go home 前言: 高可用(high availability,HA)指的是若当前工作中的机器宕机了,系 ...
在Kubernetes集群上部署高可用Harbor镜像仓库
这里主要介绍使用kubectl部署Harbor镜像仓库到Kubernetes集群中. 使用Helm部署,参考: https://my.oschina.net/u/2306127/blog/181969 ...
Hadoop 2.x 完全分布式HA集群环境搭建
Hadoop 2.x 完全分布式HA集群环境搭建目录 Hadoop 2.0 环境搭建前提:环境准备第一步:修改hadoop-env.sh配置文件,配置好JAVA_HOME环境变量第二步:修改h ...

最新文章

热门文章