文件系统NameSpace

HDFS支持传统的层次型目录结构，用户或客户端可以创建目录，并且可以存储文件在这些目录中。HDFS的这种目录层次结构与其他的文件系统非常类似，可以进行创建文件、移动文件、删除文件等操作。还支持不同用户不同目录访问权限。
NameNode维护的是文件系统的NameSpace，对文件系统的任何修改或者属性的修改都会被NameNode记录下来，应用程序可以指定文件的副本个数，每个文件都有自己对应的副本系数，这个副本系数也存储在NameNode上。

HDFS副本机制

上面介绍了HDFS的副本系数，那么到底是如何实现副本的？
HDFS可以在集群中存储非常大的文件，将每个文件都存储一系列的blocks。如果一个文件大于128MB，那么会自动切分这个文件。为了容错，这些Block是以副本的形式存储在集群中。每个文件都有可以设置Block的大小和副本的个数。
每个文件所有的Block大小除了最后一个BLock其余Block的大小都是固定的。
HDFS在文件创建时就可以指定副本系数，也可以在之后进行改变。

如上图所示，NameNode存储了FileName，numReplicas，block-ids。
/users/sameerp/data/part-0这个文件的副本系数是2，block-id是1和3
/users/sameerp/data/part-1这个文件的副本系数是3，block-id分别是2、4和5
当某台节点挂掉之后，数据依旧可以正常访问。

HDFS 文件系统NameSpace、副本机制相关推荐

HDFS的文件副本机制
HDFS 文件副本和 Block 块存储所有的文件都是以 block 块的方式存放在 HDFS 文件系统当中, 在 Hadoop1 当中, 文件的 block 块默认大小是 64M, hadoop2 ...
7.hdfs工作流程及机制
1. hdfs基本工作流程 1. hdfs初始化目录结构 hdfs namenode -format 只是初始化了namenode的工作目录而datanode的工作目录是在datanode启动后自己 ...
2021年大数据Hadoop（十四）：HDFS的高可用机制
全网最详细的Hadoop文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录本系列历史文章前言 HDFS的高可用机制 HDFS高可用介绍组件介绍 Nam ...
hdfs如何查找指定目录是否文件_hadoop实战教程-HDFS文件系统如何查看文件对应的block...
问题导读: 1.文件与block的信息被保存在什么文件中? 2.如何查看整个目录树? 3.可以通过什么方式查看文件与block的对应关系? (1)文件分割后,会有一个文件 --> block的 ...
HDFS文件系统的基础理论,HDFS工作者和管理者的分配,HDFS文件存储容量的理解
1.HDFS的文件系统介绍 HDFS是Hadoop Distribute File System 的简称,意为:Hadoop 分布式文件系统.是 Hadoop 核心组件之一,作为最底层的分布式存储服务 ...
Hadoop（HDFS）文件读写机制
Hadoop(HDFS)文件读写机制一.概述采用Hadoop提供的API进行HDFS文件系统访问,文件读取时默认是顺序.逐block读取:写入时是顺序写入. 二.读写机制首先来看文件读取机制: ...
大数据-HDFS文件系统是什么
导语 Hadoop中附带了一个HDFS(Hadoop分布式文件系统)的分布式文件系统,专门用来存储超级大文件使用,它为整个的Hadoop应用生态圈提供了基础的文件存储功能. 文档目录 HDFS 特 ...
hadoop fs –ls /hbase 无内容_Hadoop大数据实战系列文章之HDFS文件系统
扫码加入千人跳槽求职QQ群,每日都有全国招聘信息哦 Hadoop 附带了一个名为 HDFS(Hadoop分布式文件系统)的分布式文件系统,专门存储超大数据文件,为整个 Hadoop 生态圈提 ...
HDFS回收站、Trash机制、Trash Checkpoint、快照功能使用、通过Snapshot快照恢复数据、备份数据、HDFS快照的实现
HDFS回收站.Trash机制.Trash Checkpoint.快照功能使用 1.回收站回收站的功能给了我们一剂"后悔药".回收站保存了删除的文件.文件夹.图片.快捷方式等.这 ...

HDFS 文件系统NameSpace、副本机制

文件系统NameSpace

HDFS副本机制

HDFS 文件系统NameSpace、副本机制相关推荐

最新文章

热门文章