写在前面

本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和文献引用请见1000个问题搞定大数据技术体系

解答

容错性设计HDFS内置了良好的容错性设计策略，以降低各种故障情况下数据丢失的可能性，接下来针对几个常见的分布式故障场景，分析HDFS对应的容错策略。

NameNode故障

NameNode内存中记录了文件系统的元信息，这些元信息一旦丢失，将导致整个文件系统数据不可用。

HDFS允许为每个 Active NameNode 分配个 StandbyNameNode，以防止单个 NameNode 宕机后导致元信息丢失和整个集群不可访问。
DataNode故障

每个 DataNode 保存了实际的数据块，这些数据块在其他 DataNode 上存在相同的副本。

DataNode 能通过心跳机制向 NameNode 汇报状态信息，当某个DataNode 宕机后， NameNode 可在其他节点上重构该 DataNode 上的数据块，以保证每个文件的副本数在正常水平线上。
数据块损坏

DataNode 保存数据块时，会同时生成一个校验码。

当存取数据块时，如果发现校验码不一致，则认为该数据块已经损坏， NameNode 会通过其他节点上的正常副本重构受损的数据块。

HDFS容错性设计有哪些？相关推荐

Hadoop核心之HDFS 架构设计
概述:HDFS即Hadoop Distributed File System分布式文件系统,它的设计目标是把超大数据集存储到分布在网络中的多台普通商用计算机上,并且能够提供高可靠性和高吞吐量的服务.分 ...
浅谈HDFS的设计思想和实现思路
前言本文隶属于专栏<1000个问题搞定大数据技术体系>,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢! 本专栏目录结构和参考文献请见1000个问题搞定大数据技 ...
网站的容错性设计原则
互联网技术的飙升,网络技术的大量使用,郑州网站建设公司的职责也变得非常的高大上和沉重.如今市场上越来越多的B2C和C2C产品的用户体验越来越重要了,但是站在用户的角度上面,并不是每次搜索都是对的,我们 ...
你真的懂服务的容错性设计吗(1)
什么是服务容错性我们在工作中经常会遇到系统故障,服务异常等情况,尤其是在大型分布式系统中,随着微服务的数据量不断增多,服务出现异常的概率也在不断增加,想必没有一个老铁敢保证自己开发的服务不会出现异常 ...
Hadoop技术内幕：深入解析Hadoop Common和HDFS架构设计与实现原理
<Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理> 基本信息作者: 蔡斌陈湘萍出版社:机械工业出版社 ISBN:9787111417668 上架 ...
HDFS DataNode 设计实现解析
前文分析了 NameNode,本文进一步解析 DataNode 的设计和实现要点. 文件存储 DataNode 正如其名是负责存储文件数据的节点.HDFS 中文件的存储方式是将文件按块(block)切 ...
HDFS Client 设计实现解析
前面对 HDFS NameNode 和 DataNode 的架构设计实现要点做了介绍,本文对 HDFS 最后一个主要构成组件 Client 做进一步解析. 流式读取 HDFS Client 为客户端应 ...
分布式文件系统—HDFS—核心设计
原文作者:jiangw-Tony 原文地址:HDFS基础使用 1.HDFS心跳机制(heartbeat) Hadoop 是 Master/Slave 结构,Master 中有 NameNode 和 R ...
9、HDFS核心设计--心跳机制、安全模式、副本存放策略、负载均衡
1.HADOOP 心跳机制(heartbeat) 1. Hadoop 是主从(Master/Slave )结构,Master 中包括 NameNode 和 ResourceManager,Slave ...
HDFS设计思路，HDFS使用，查看集群状态，HDFS，HDFS上传文件，HDFS下载文件，yarn web管理界面信息查看，运行一个mapreduce程序，mapreduce的demo
26 集群使用初步 HDFS的设计思路 l 设计思想分而治之:将大文件.大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析: l 在大数据系统中作用: 为各类分布式 ...

HDFS容错性设计有哪些？

写在前面

解答

HDFS容错性设计有哪些？相关推荐

最新文章

热门文章