分布式文件系统(HDFS）与linux系统文件系统关系
最近在学习hadoop时关于分布式文件系统(hdfs)中的块定义有点模糊，以及它内部与操作系统中物理磁盘块的关系，它们又是怎么建立关系？研究了一番，在这供大家参考，如有说的不对或是不全的地方，欢迎大家评论！
各自区别：
每个磁盘都有默认的数据块大小，这是磁盘进行数据读/写的最小单位。而构建于单个磁盘之上的文件系统(linux文件系统)通过磁盘块来管理该文件系统中的块，该文件系统中的文件大小是磁盘块的整数倍。磁盘块的大小一般为512字节，其读写的最小单位是磁盘块的最小单位.文件占用的块由inode进行管理，记录该文件存放数据的N个block的物理地址，具体linux下文件系统的构成由下面链接详细介绍：http://www.cnblogs.com/yyyyy5101/articles/1901842.html
HDFS同样也有块的概念,HDFS文件系统中的块指的是linux文件，分布式文件就是有多个linux文件（块）组成。其最小块单位就是一个Linux文件的大小，默认为64MB，其分片成的linux文件的文件名有HDFS的namenode管理，该节点还管理了linux文件对应datanode节点的映射关系。
假设有一个1G的大文件，在linux文件系统上就是一个文件，由1G/512b的block组成；在HDFS上需要1024MB/64MB=16块，即16个linux文件组成，所以相当于一个普通1G的文件分成了16个小文件，在HDFS上的namenode会记录1G文件名对应16个文件名映射关系和16个文件名在对应datanote节点上的映射关系（备份除外）。datanote节点上的16个小文件就是linux文件，在各自datanote节点上的inode里记录了16个文件对应物理磁盘的映射关系。简而言之：1G的分布式文件转换成16个linux文件，HDFS就是实现了拆分文件功能，当然由于考虑单点故障原因，它把每个文件复制了3份(默认),不管哪个节点出故障可以合成完整的一个1G文件。
分布式文件系统(HDFS）与linux系统文件系统关系相关推荐
- YAFFS2文件系统在嵌入式LINUX系统中的应用
YAFFS2文件系统在嵌入式LINUX系统中的应用 2011-03-31 19:59 181人阅读 评论(0) 收藏 举报 1．文件系统简述 随着32位CPU价格不断下跌,片上存储设备的容量相比越来越 ...
- 嵌入式linux文件系统格式,嵌入式Linux的文件系统分区及数据读写方法与流程
本发明涉及Linux系统的数据存储管理领域,特别是涉及一种基于NANDFlash存储器和UBIFS文件系统的嵌入式Linux的文件系统分区及数据读写方法. 背景技术: ::目前Linux操作系统由于源 ...
- 深入理解Android系统和Linux系统的关系
深入理解Android系统和Linux系统的关系 参考链接: 1.理解android和linux内核的关系_keepdoingit的专栏-CSDN博客_android和linux内核 2.Androi ...
- 分布式文件系统(HDFS）与 linux系统文件系统 对比
初次接触分布式文件系统,有很多迷惑.通过参考网络文章,这里进行对比一下Hadoop 分布式文件系统(HDFS)与 传统文件系统之间的关系: Linux 文件系统 分布式文件系统 块 块对应物理磁盘 ...
- linux普通文件的特点是,linux系统文件系统上有哪些特点
一般linux常用的文件系统有 1.ext2.ext3.ext4 2.SWAP 特点: 1.Linux ext2/ext3文件系统使用索引节点来记录文件信息,作用像windows的文件分配表.索引节点 ...
- linux系统文件系统个目录介绍,关于linux的文件系统目录详细介绍
首先我们回答一下最为宽泛的问题,什么是文件系统? 文件系统是对一个存储设备上的数据和元数据进行组织的机制.liuux的文件系统体系结构是一个对复杂系统进行抽象化的有趣例子,通过使用一组通用的API函数 ...
- linux系统文件系统格式转换--不丢文件
首先,当我们想要改变Linux已有分区的文件系统类型时,除了备份数据重新格式化外,似乎别无他法.但是fstransform打破了这一局面,fstransform可以实现无损的将一种文件系统转换成另外一 ...
- linux不同用户移动文件系统,第三节 linux：文件系统以及文件操作命令
有一句话: linux上一切皆文件 1文件系统 操作系统3大模块:进程管理,内存管理,文件系统 1.1定义:文件系统是操作系统在存储设备上组织管理文件的方法. 1.2不同操作系统文件系统不同,简单来说 ...
- linux怎么烧写文件系统,烧写LINUX最小文件系统
要让linux系统在一款硬件上运行起来都需要哪些资源.1.bootloder,完成硬件初始化的工作.2.linux内核,这个必须的呀.3.文件系统.linux中一切皆文件,怎么能没有文件系统呢.实际上 ...
- 红帽linux系统文件系统,Redhat XFS文件系统
XFS是一种高度可扩展和高性能文件系统,它支持创建16 exabytes超大文件系统,8 exabytes的文件和10亿个目录结构. 1) 主要功能:XFS支持元数据日志功能(metadata jou ...
最新文章
- 【转载】Python的运行原理（编译过程及执行原理）
- 算法解读 ---- 递归（一）
- 【归并排序】求逆序数算法
- 一个html5页面,html5做一个黑板报页面
- 2d shader unity 阴影_Unity中实现2D光照系统
- linux下编译与运行,Linux操作系统驱动编译与运行是怎样的？
- matlab norm向量和矩阵的范数
- Python中出现:RunTimeError:implement_array_function method already has a docstring.异常解决
- mysql的extra,MySQL SQL优化-重点是 extra
- 算法高级（25）-分布式TopN算法玄机
- 常用的MySQL命令大全
- [人工智能]动物专家系统work
- ETL工具-Taskctl在Windows作业类型的使用(Soap服务驱动)
- 设置 无线网 连接到服务器未响应,设置无线路由器显示服务器未响应
- php分页类函数,php分页类的使用方法
- word表格转为html5,怎么把网页版的表格转至Word
- UVA 10131 Is Bigger Smarter? （DP,最长条件子序列）
- Windows Server 2008 R2 搭建网站详细教程
- android 打卡统计日历表,GitHub - lw1243925457/clickApp: 一个日常事务打卡和统计的APP，用于日常任务记录、任务所需时间记录、任务花费时间统计显示...
- css中如何给a标签设置图片背景