【精】聊聊HDFS的高可用架构

通过本文，你可以学到如下内容：
①HDFS的（High Availability，HA）架构。
②HDFS-HA的实现原理；ZKFC三大组件，切主的完整过程。
③优化切主速度+一些个人思考

##一、HDFS的高可用架构

为什要做HA呢？想象一下没有HA时，如果HDFS集群在正常运行的过程中，NameNode节点发生故障，比如机器断电、网络故障等等，那么集群中失去了文件系统的元数据信息，整个集群将会不可用，直到NameNode节点恢复正常。这种情况也就是俗称的单点故障问题。HA就是为了解决这个问题的。HDFS的HA有两个NameNode，一个Active状态，一个Standby状态。如下图所示：

Active NN处理客户端的读写请求，将文件系统变化的editlog写到共享存储中（一般是JournalNode上），Standby NN去共享存储拉editlog，然后perform，让Standby NN自己的内存中的FSimage与Active NN尽量保持同步。StandBy节点也接收DataNode的块汇报，这样在切主的时候就会很快，不用再去计算块存放的信息。

同时还引入了ZKFC进程，用来监控NameNode的健康状态，如果Active NN的状态异常，ZKFC会进行重新选主（选主的过程依赖了Zookeeper的一致性），必要时也会fence掉（通过配置项中传入的脚本彻底杀死进程）原来的A

【精】聊聊HDFS的高可用架构相关推荐

雪球在股市风暴下的高可用架构改造分享
本文根据唐福林老师在"高可用架构"微信群所做的<股市风暴下的雪球架构改造经验分享>整理而成,转发请注明来自微信公众号ArchNotes. 唐福林,雪球首席架构师,负责雪 ...
美团三面：消息中间件实现高可用架构，你会怎么设计？
V-xin:ruyuanhadeng获得600+页原创精品文章汇总PDF 目录一.背景引入二.先来思考一下消息中间件的可用性问题三.集群化部署 + 数据多副本冗余四.多副本同步复制强制要求五 ...
2021年大数据Hadoop（十四）：HDFS的高可用机制
全网最详细的Hadoop文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录本系列历史文章前言 HDFS的高可用机制 HDFS高可用介绍组件介绍 Nam ...
坑系列 --- 高可用架构的银弹
呵呵,题图是一队困在坑中的鸭子:)作为一个搬砖的,我经常被困着.今天高考,想起15年前的今天(哦,那时候是七月高考),恩,考完了,还不错,然而15年后还是搬砖:) 0. 承上启下之前那篇文章写出来以 ...
单表60亿记录等大数据场景的MySQL优化和运维之道 | 高可用架构
015-08-09 杨尚刚高可用架构此文是根据杨尚刚在[QCON高可用架构群]中,针对MySQL在单表海量记录等场景下,业界广泛关注的MySQL问题的经验分享整理而成,转发请注明出处. 杨尚刚,美 ...
《MySQL性能优化和高可用架构实践》阅读总结
文章目录介绍第1章 MySQL架构介绍 1.1 MySQL简介 1.2 MySQL主流的分支版本 1.3 MySQL存储引擎 1.4 MySQL逻辑架构 1.5 MySQL物理文件体系结构第2章 ...
Hadoop2.x高可用架构
Hadoop2.x Hadoop高可用的架构对于Hadoop高可用架构节点介绍 NN服务器会出现脑裂(brain-split)情况什么是脑裂在hadoop2.x版本中,如果存在两个NameNod ...
[转]当当网高可用架构之道--转
本文转自:http://www.cnblogs.com/davidwang456/articles/5340650.html 声明:本文内容来自于TOP100Summit旗下技术沙龙品牌into100 ...
Bilibili高可用架构【B 站在云+社区沙龙分享干货】
来源:kunzhao.org/docs/cloud-plus-bbs/bilibili-high-availability/ [导读]本文整理了 B 站在云+社区沙龙分享的高可用架构,一起来学习小破站 ...
TA大数据分析系统的高可用架构从设计到实现
随着大数据时代的到来,对海量数据进行数据分析,并依据分析结果进行精细化运营成为各大企业的重要课题.但大数据行业门槛高,自建平台成本高.难度大.效率低,因此企业越来越需要专业的大数据分析工具. 针对市场 ...

【精】聊聊HDFS的高可用架构

【精】聊聊HDFS的高可用架构相关推荐

最新文章

热门文章