HDFS数据管理与容错

一：数据容错

数据在一台机架内存放两个数据块，另外一个机架存放复制的一份，这样保证了
（1）同一个机架内数据损坏一个，也可以就近根据同一个机架内取得数据，
（2）整个机架损坏一个，也可以由另外的一个机架取的数据

二：心跳检测

数据存储到机架内后，如何知道数据块有那些损坏了呢？
我们可以定时任务，定时扫描机架内的数据，看看哪些数据块损坏，然后报告给NameNode管家，管家在更改存放文件与数据块的映射表和数据块与数据节点的映射表这样保证所有数据都是即时有效的。

HDFS数据管理与容错相关推荐

山东大学大数据管理与分析知识点总结
大数据概述大数据(big data),或称巨量资料,指的是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力的海量.高增长率和多样化的信息资产大数据指不用随机分析法(抽样调查)这样的捷径 ...
深入理解Hadoop之HDFS架构
Hadoop分布式文件系统(HDFS)是一种分布式文件系统.它与现有的分布式文件系统有许多相似之处.但是,与其他分布式文件系统的差异是值得我们注意的: ♦ HDFS具有高度容错能力,旨在部署在低成本 ...
Spark Streaming之容错机制以及事务语义
我们知道RDD本身是一个不可变的,可重新计算的.分布式的数据集.每一个RDD都会记住确定好的操作血缘关系. 如果因为某些原因,导致某个worker节点失败,则导致RDD的某个partition数据丢失 ...
[HDFS Manual] CH1 HDFS体系结构
HDFS体系结构 1 1.HDFS体系结构... 2 1.1介绍... 2 1.2假设和目标... 2 1.3 NameNode 和 DataNode. 2 1.4 文件系统命名空间... 3 1.5 ...
HDFS 磁盘写及balance
1. HDFS写策略第一复本写本地, 第二复本写其他机架, 第三复本写其他机架的不同节点目的: 尽可能地容灾, 不仅防止单台机器宕机, 也防止整个机架异常; 同时保证写的速度 (本地更快) The ...
HDFS依旧是存储的王者
为何说HDFS是存储的王者呢? 让我们带着这个问题来了解HDFS的架构与原理,我一直认为学习大数据最好的方法就是看官网. 所以对初学者来说一定要多看官网,哪怕你看不懂英文,也要用软件翻译过来看. 首先 ...
HDFS在B站的探索和实践
一. HDFS 架构介绍 HDFS离线存储平台是Hadoop大数据计算的底层架构,在B站应用已经超过5年的时间.经过多年的发展,HDFS存储平台目前已经发展成为总存储数据量近EB级,元数据总量近百亿级 ...
hadoop_入门1
体系结构概述 hdfs mapreduce yarn cloudera 读取文件数据管理与容错数据块复制心跳检测二级namenode主要用于备份 HDFS特点应用单词计数排序体系结构 ...
Hadoop：简单介绍
什么是Hadoop: Hadoop是一种用Java编写的框架,用于在大型商品硬件集群上运行应用程序,并具有类似于Google File System和MapReduce的功能 . HDFS是高度容错的 ...

HDFS数据管理与容错

HDFS数据管理与容错相关推荐

最新文章

热门文章