参考：

HDFS概述（4）————HDFS权限

HDFS概述（3）————HDFS Federation

HDFS概述（2）————Block块大小设置

HDFS概述（1）————HDFS架构

问题

Q: 一个常被问到的一个问题是：如果一个HDFS上的文件大小(file size) 小于块大小(block size) ，那么HDFS会实际占用Linux file system的多大空间？

A: 答案是实际的文件大小，而非一个块的大小。

以下内容转自：

http://blog.csdn.net/samhacker/article/details/23089157?utm_source=tuicool&utm_medium=referral

http://snglw.blog.51cto.com/5832405/1643587

实验：

------------------------------------------------------------------------

1. 往hdfs里面添加新文件前，Hadoop在linux上面所占的空间为 464 MB

du -sh /hadoop/hdfs/data/

2. 往hdfs里面添加大小为2673375 byte(大概2.5 MB)的文件

3. 此时，hadoop在linux上面所占的空间为 467 MB——增加了一个实际文件大小(2.5 MB)的空间，而非一个block size(128 MB)：

du -sh /hadoop/hdfs/data/

4. 使用hadoop dfs -stat查看文件信息：

这里就很清楚地反映出：文件的实际大小(file size)是2673375 byte，但它的block size是128 MB。

5. 通过NameNode的web console来查看文件信息:

结果是一样的：文件的实际大小(file size)是2673375 byte，但它的block size是128 MB。

6. 不过使用‘hadoop fsck’查看文件信息，看出了一些不一样的内容—— ‘1（avg.block size 2673375 B）’:

值得注意的是，结果中有一个 ‘1（avg.block size 2673375 B）’的字样。这里的 'block size' 并不是指平常说的文件块大小(Block Size)—— 后者是一个元数据的概念，相反它反映的是文件的实际大小(file size)。

转载于:https://www.cnblogs.com/liango/p/7137443.html

HDFS概述（2）————Block块大小设置相关推荐

hdfs中一个block块默认多大？
版本不同,默认大小不同.64M.128M都正确. 在Apache Hadoop中默认是64M,Cloudera Hadoop版本中默认是128M.
linux数据块的大小不一样,HDFS块大小默认为什么是64MB(或者是128MB）
1 HDFS的设计特点? 可以进行超大文件存储对商用硬件要求不高式数据访问:适合一次写入,多次读出的场景,适合用来做数据分析,并不适合用来做网盘应用等文件系统. HDFS只支持单个写入者,而且文件 ...
hdfs的副本数为啥增加了_HDFS详解之块大小和副本数
1.HDFS HDFS : 伪分布式(学习) NN DN SNN sbin/start-dfs.sh(开启hdfs使用的脚本) bin/hdfs dfs -ls (输入命令加前缀bin/hdfs df ...
Apache Durid 数据存储(Hadoop概述安装 HDFS概述数据存储遇到的问题)
Apache Durid 数据存储 Apache Durid 数据存储 1. 分布式技术 1.1 为什么需要分布式 1.1.1 计算问题 1.1.2 存储问题 1.2 分布式系统概述 1.3 分布式实 ...
HDFS 概念之 block 详解
一般情况下,任何磁盘都有'最小读写单位'的概念,可以理解为该磁盘的'block'.建立在该磁盘之上的文件系统也有'block'的概念,一般为磁盘'block'大小的整数倍.对于用户来说,这些读写限制都 ...
Hadoop HDFS概述
前言在现代的企业环境中,单机容量往往无法存储大量数据,需要跨机器存储.统一管理分布在集群上的文件系统称为分布式文件系统. HDFS,是Hadoop Distributed File System的简 ...
【HDFS】HDFS文件块大小（重点）
HDFS中的文件在物理上是分块存储(Block),块的大小可以通过配置参数(dfs.blocksize)来规定,默认大小在Hadoop2.x版本中是128M,老版本中是64M. 那么,问题来了,为什么 ...
HDFS中block的大小
block的大小与修改 Hadoop2.x/3.x版本中Block的默认大小为128M,早前版本中默认为64M,开发人员可以在hdfs-site.xml中添加如下标标签进行修改. <!-- hd ...
磁盘的块大小(Block Size)和扇区大小(Sector Size)
来源:http://chenjianjx.iteye.com/blog/1806258 Logical Block Size:A "block", a contiguous num ...

HDFS概述（2）————Block块大小设置

参考：

问题

实验：

HDFS概述（2）————Block块大小设置相关推荐

最新文章

热门文章