一、HA 概述

所谓 HA (High Availablity)，即高可用 (7*24 小时不中断服务) 。实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的 HA。

机制：HDFS 的 HA 和 YARN 的 HA。

NameNode 主要在以下两个方面影响 HDFS 集群

NameNode 机器发生意外，如宕机，集群将无法使用，直到管理员重启
NameNode 机器需要升级，包括软件、硬件升级，此时集群也将无法使用

HDFS HA 功能通过配置多个 NameNodes (Active/Standby) 实现在集群中对 NameNode 的热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将 NameNode 很快的切换到另外一台机器。

二、HDFS-HA 集群搭建

当前 HDFS 集群的规划

HA 的主要目的是消除 NameNode 的单点故障,需要将 HDFS 集群规划成以下模样

HDFS-HA 核心问题

1）怎么保证三台 NameNode 的数据一致

A、Fsimage : 让一台 nn 生成数据，让其他机器 nn 同步

B、Edits : 需要引进新的模块 JournalNode 来保证 edtis 的文件的数据一致性

2）怎么让同时只有一台 nn 是 active，其他所有是 standby 的

A、手动分配

B、自动分配

3）2nn 在 HA 架构中并不存在，定期合并 fsimage 和 edtis 的活谁来干

由 standby 的 nn 来干

4）如果 nn 真的发生了问题，怎么让其他的 nn 上位干活

A、手动故障转移

B、自动故障转移

Hadoop HA (一) --------- HA 概述与 HDFS-HA 集群搭建相关推荐

启动hadoop没有resourcemanager_5.hadoop-MR YARN架构理论与集群搭建
MR原语输入(格式化k,v)数据集map映射成一个中间数据集(k,v)reduce 相同"的key为一组,调用一次reduce方法,方法内迭代这一组数据进行计算计算框架 Partit ...
Hadoop框架：单服务下伪分布式集群搭建
本文源码:GitHub·点这里 || GitEE·点这里一.基础环境 1.环境版本环境:centos7 hadoop版本:2.7.2 jdk版本:1.8 2.Hadoop目录结构 bin目录:存放 ...
7.HDFS之——NameNode的概述、自动Name的概述、NameNode HA 集群搭建
7.HDFS NameNode HA 7.1 NameNode HA概述所谓HA(High Availablity [əˌveɪlə'bɪləti] ),即高可用(7x24小时服务不中断).通过主备 ...
记Hadoop HA高可用性分布式集群搭建过程
为完成毕业设计中并行算法测试,在学习后,自己在虚拟机搭建了一个基于Hadoop的分布式集群,在这里做个记录,菜鸟首次写博客,已深夜,下面直接进入主题: 规划与说明在hadoop集群中通常由两个Nam ...
Hadoop HA 高可用集群搭建
Hadoop HA 高可用集群搭建一.首先配置集群信息 1 vi /etc/hosts 二.安装zookeeper 1.解压至/usr/hadoop/下 1 tar -zxvf zookeeper- ...
深入浅出学大数据（五）Hadoop再探讨High Availability(HA)集群搭建及YARN原理介绍
大家好,我是不温卜火,昵称来源于成语-不温不火,本意是希望自己性情温和.作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样 ...
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）
一.服务器环境主机名 IP 用户名密码安装目录 master 192.168.142.124 root xxx /usr/hadoop-2.6.5/ slave1 192.168.142.125 ...
Hadoop 3.1.2(HA)+Zookeeper3.4.13+Hbase1.4.9(HA)+Hive2.3.4+Spark2.4.0(HA)高可用集群搭建
目录目录 1.前言 1.1.什么是 Hadoop? 1.1.1.什么是 YARN? 1.2.什么是 Zookeeper? 1.3.什么是 Hbase? 1.4.什么是 Hive 1.5.什么是 Sp ...
Hadoop集群搭建安装教程（续集）高可用（HA）
针对Hadoop集群的高可用环境,研究搭建方式,根据相关资料和教程以及自己实际操作,整理步骤如下. 集群规划节点运行角色 node1 namenode.zkfc.zookeeper.journal ...

Hadoop HA (一) --------- HA 概述与 HDFS-HA 集群搭建

目录

一、HA 概述

二、HDFS-HA 集群搭建

Hadoop HA (一) --------- HA 概述与 HDFS-HA 集群搭建相关推荐

最新文章

热门文章

Hadoop HA (一) --------- HA 概述 与 HDFS-HA 集群搭建

目录

一、HA 概述

二、HDFS-HA 集群搭建

Hadoop HA (一) --------- HA 概述 与 HDFS-HA 集群搭建相关推荐

最新文章

热门文章

Hadoop HA (一) --------- HA 概述与 HDFS-HA 集群搭建

Hadoop HA (一) --------- HA 概述与 HDFS-HA 集群搭建相关推荐