From：http://www.topjishu.com/8277.html

From：http://blog.csdn.net/clamercoder/article/details/38361815

Linux_File_Hole_And_Sparse_Files

参考unix环境高级编程第三版 54页和90页！！！ ( 文件I/O章节  lseek函数 。文件和目录章节 文件长度)

1、Linux文件空洞与稀疏文件
2、文件系统数据存储
3、文件系统调试
文件空洞
  1. 在UNIX文件操作中，文件位移量可以大于文件的当前长度
    在这种情况下，对该文件的下一次写将延长该文件，并在文件中构成一个空洞。位于文件中但没有写过的字节
    都被设为 0。
  2. 如果 offset 比文件的当前长度更大，下一个写操作就会把文件“撑大（extend）”
    在文件里创造“空洞（hole）”。
    没有被实际写入文件的所有字节由重复的 0 表示。空洞是否占用硬盘空间是由文件系统（file system）决定
    的

稀疏文件（Sparse File）

  1. 稀疏文件与其他普通文件基本相同，区别在于文件中的部分数据是全0，且这部分数据不占用磁盘
    空间。
    下面是稀疏文件的创建与查看
[root@localhost ~]# dd if=/dev/zeroof=sparse-file bs=1 count=1 seek=1024k
[root@localhost ~]# ls -l sparse-file
-rw-r--r-- 1 root root 1048577 Oct 15 17:50 sparse-file
[root@localhost ~]# du -sh sparse-file
8.0K sparse-file
[root@localhost ~]# cat anaconda-ks.cfg >> sparse-file
[root@localhost ~]# du -sh sparse-file
12K sparse-file
[root@localhost ~]# du -sh anaconda-ks.cfg
12K anaconda-ks.cfg
[root@localhost ~]#

Linux文件系统inode数据块存储

索引节点采用了多重索引结构，主要体现在直接指针和3个间接指针。直接指针包含12个直接指
针块，它们直接指向包含文件数据的数据块，紧接在后面的3个间接指针是为了适应文件的大小
变化而设计。

Linux稀疏文件inode数据块存储

文件系统存储稀疏文件时，inode索引节点中，只给出实际占用磁盘空间的Block 号，
数据全零且不占用磁盘空间的文件Block并没有物理磁盘Block号。

Linux稀疏文件inode数据块存储

  • 文件空洞部分不占用磁盘空间
  • 文件所占用的磁盘空间仍然是连续的

实例：

[root@localhost mnt]# du -sh sparse-file
20K sparse-file
[root@localhost mnt]# ls -lh sparse-file
-rw-r--r-- 1 root root 1.1G Oct 15 10:36 sparse-file
[root@localhost mnt]#
debugfs: stat sparse-file
Inode: 49153 Type: regular Mode: 0644 Flags:
0x0 Generation: 3068382963
User: 0 Group: 0 Size: 1073742848
File ACL: 0 Directory ACL: 0
Links: 1 Blockcount: 40
Fragment: Address: 0 Number: 0 Size: 0
ctime: 0x507b76af -- Mon Oct 15 10:36:31 2012
atime: 0x507b765f -- Mon Oct 15 10:35:11 2012
mtime: 0x507b76af -- Mon Oct 15 10:36:31 2012
BLOCKS:
(IND):106496, (256):106497, (DIND):106504,
(IND):106505, (262144):106506
TOTAL: 5

Linux文件系统数据块存储多重索引

  • Linux文件系统数据存放采用inode多
    重索引结构，有直接指针和3个间接指
    针。
    类似于编程中的变量定义：
    unsigned long blk;
    unsigned long *blk;
    unsigned long **blk;
    unsigned long ***blk;
  • 直接指针直接指向保存数据的Block
    号。
  • 一级指针指向一个Block，该Block中
    的数据是Block指针，指向真正保存数
    据的Block。
    二级三级指针以此类推。

  1. 前12个直接指针，直接指向存储的数据区域
    如Blocks大小为4096，则前12个直接指针就可以保存48KB文件。
  2. 一级指针可存储文件大小计算
    假设每个指针占用4个字节，则一级指针指向的Block可保存4096/4个
    指针，可指向1024个Blocks。一级指针可存储文件数据大小为1024*4096 =
    4MB。
  3. 二级指针可存储文件大小计算
    同样按照Blocks大小为4096，则二级指针可保存的Block指针数量为(4096/4) *
    （4096/4) = 1024*1024。则二级指针可保存的文件数量大小为(1024*1024)*4096
    = 4GB。
  4. 三级指针可存储文件大小计算
    以一级、二级指针计算方法类推，三级指针可存储的文件数据大小为
    （1024*1024*1024)*4096 = 4TB。

1.什么是空洞文件？

“在UNIX文件操作中，文件位移量可以大于文件的当前长度，在这种情况下，对该文件的下一次写将延长该文件，并在文件中构成一个空洞，这一点是允许的。位于文件中但没有写过的字节都被设为 0。”      --摘自“百度百科”

从上面的描述可以将空洞文件的特点表述为：offset > 实际文件大小。那这又有什么表现和意义呢？我们下面慢慢分析。

( http://blog.csdn.net/shenlanzifa/article/details/44016537 )

文件空洞

我们知道lseek()系统调用可以改变文件的偏移量，但如果程序调用使得文件偏移量跨越了文件结尾，然后再执行I/O操作，将会发生什么情况？ read()调用将会返回0，表示文件结尾。令人惊讶的是，write()函数可以在文件结尾后的任意位置写入数据。在这种情况下，对该文件的下一次写将延长该文件，并在文件中构成一个空洞，这一点是允许的。从原来的文件结尾到新写入数据间的这段空间被成为文件空洞。调用write后文件结尾的位置已经发生变化。

在Linux系统之中，文件结束符EOF根本不是一个字符，而是当系统读取到文件结尾，所返回的一个信号值（也就是-1），至于系统怎么知道文件的结尾，资料上说是通过比较文件的长度。

文件空洞占用任何磁盘空间，直到后续某个时点，在文件空洞中写入了数据，文件系统才会为之分配磁盘块。空洞的存在意味着一个文件名义上的大小可能要比其占用的磁盘存储总量要大（有时大出许多）。向文件空洞中写入字节，内核需要为其分配存储单元，即使文件大小不变，系统的可用磁盘空间也将减少。这种情况并不常见，但也需要了解。

下面看一个例子：（转自http://blog.csdn.net/wangxiaoqin00007/article/details/6617801）

ls -l file        查看文件逻辑大小 ( 即文件的实际大小 )

du -c file     查看文件实际占用的存储块多少 （即文件实际占用的磁盘空间大小）

od -c file     查看文件存储的内容 （od命令：http://blog.csdn.net/freeking101/article/details/78182731）

空洞文件就是有空洞的文件,在日常的常识中,我们使用的文件存放在硬盘分区上的时候,有多大的内容就会占用多大的空间,比如这个文本文件里面写有1000个asc字符,那么就会占用磁盘上1000B的存储空间,为了便于管理文件,文件系统都是按块大小来分配给文件的,假如这个文件系统一个块是4096的话,那么这个文件就会占用一个块的,无论实际的内容是1B还是4000B.如果我们有一个4MB的文件,那么它会在分区中占用:4MB/4096B=1000个块.

现在我们先做一个实际的无空洞文件来看看:

#dd if=/dev/urandom of=testfile1 bs=4096 count=1000

这个命令会从/dev/urandom文件复制1000个块,每块大小4096,到testfile1文件去.

好了,我们已经有了testfile1这么一个4M的文件了,里面填充了一些随机的内容,你可以more一下.

然后用ls -l查看这个文件的大小是4096000,用du -h testfile1来查看的话,文件占用的磁盘大小是4M,两者是一样的.

下来是我们的重点,空洞文件,假如我们有一个文件,它有4M的大小,但是它里边很大一部分都是没有存放数据的,这样可不可以呢?试一下:

#dd if=/dev/urandom of=testfile2 bs=4096 seek=999 count=1

这个命令跟前一个命令相似,不同的是,它其实复制了1个块的内容,前面的999个块都跳过了.

我们ls -l一下,发现文件的大小还是4096000,用du -h testfile2查看,占用的块大小是4K

我们发现,虽然文件是4M,但是实际在磁盘上只占用了4K的大小,这就是空洞文件的神奇之处.

实际中的空洞文件会在哪里用到呢?常见的场景有两个:

一是在下载电影的时候,发现刚开始下载,文件的大小就已经到几百M了.

二是在创建虚拟机的磁盘镜像的时候,你创建了一个100G的磁盘镜像,但是其实装起来系统之后,开始也不过只占用了3,4G的磁盘空间,如果一开始把100G都分配出去的话,无疑是很大的浪费.

然后讲一下底层的实现吧,其实这个功能关键得文件系统支持,貌似FAT就不可以吧,linux下一直都很好的支持这一特性,我们举个最简单的ext的例子吧,ext中记录文件实际内容的对应信息的东东是一个叫索引表的东西,里面有十几个条目,每个条目存放对应文件内容块的块号,这样就可以顺序找到对应的文件内容了,大家可能说,几M的一个文件,十几个项哪够啊,不必担心,一般索引表前面几个项目是直接指向文件内容的,如果这几个不够的话,往后的第一个项目不会指向文件内容块,而会指向一个存放项目的块,这样一下多出N个项目来,如果这样还不够,下面的那个是存放指向指向的项目,不好意思,我也绕晕了,总之,前面的是直接指向,下面这个是二级指向,再下面的是二级指向,以此类推,这样,文件系统就可以处理T数量级别的文件,看下图:

到了空洞文件这里呢,我们只需要把指向没有文件内容部分的索引项目置NULL就好了,这样就不会指向实际的数据块了,也不会占用磁盘空间了,就这么easy~

至于btrfs这些新一代文件系统呢,在空洞文件这里的原理跟ext还是类似的.

最后介绍一下linux对空洞文件的处理,经过我最近的一些测试所得:

在同一文件系统ext4下,cat一个空洞文件到新文件,新文件不再是空洞文件,cp一个空洞文件到新文件,新文件仍然是空洞文件.

在btrfs跟ext4之间做的结果同上面是一致的,但是在不同文件系统之间cp,因为不同文件系统分配的最小单元不同,所以du结果会不同.

在nfs的客户端下,在nfs目录下去cp,新文件仍然是空洞文件!!!但是cp会逐个的去比较文件的内容,所以,受网络状况搞得影响,过程有时候会很慢.

2.怎么获得一个空洞文件？

在linux下，利用lseek人为的修改offset可以获得一个空洞文件。

[cpp] view plain copy
  1. #include <stdio.h>
  2. #include <stdlib.h>
  3. #include <unistd.h>
  4. #include <sys/stat.h>
  5. #include <sys/types.h>
  6. #include <fcntl.h>
  7. #include <string.h>
  8. #define OFFSET_LENGTH 15000
  9. char buff1[] = "abcdefg";
  10. char buff2[] = "ABCDEFG";
  11. int
  12. main(int argc,char** argv)
  13. {
  14. int fd = 0;
  15. int buff1Length = strlen(buff1);
  16. int buff2Length = strlen(buff2);
  17. char* buff3 = (char*)malloc(buff1Length + buff2Length + OFFSET_LENGTH);
  18. memset(buff3,2,buff1Length + buff2Length + OFFSET_LENGTH);
  19. //create hole file
  20. if((fd = creat("./hole.f",S_IREAD|S_IWRITE)) < 0)
  21. {
  22. perror("create file error!");
  23. }
  24. printf("fd:%d\n",fd);
  25. if(write(fd,buff1,buff1Length) != buff1Length)
  26. {
  27. perror("write error!");
  28. }
  29. if(lseek(fd,OFFSET_LENGTH,SEEK_CUR) == -1)
  30. {
  31. perror("lseek error!");
  32. }
  33. if(write(fd,buff2,buff2Length) != buff2Length)
  34. {
  35. perror("write error!");
  36. }
  37. //create nohole file
  38. if((fd = creat("./nohole.f",S_IREAD|S_IWRITE)) < 0)
  39. {
  40. perror("create file error!");
  41. }
  42. if(write(fd,buff3,strlen(buff3)) != strlen(buff3))
  43. {
  44. perror("write error!");
  45. }
  46. free(buff3);
  47. return 0;
  48. }

上面的程序创建了一个空洞文件和一个同样大小的非空洞文件，接下来我们将以这两个文件作为基础进行空洞文件的分析。

3.空洞文件的表现

空洞文件特点就是offset大于实际大小，也就是说一个文件的两头有数据而中间为空，以‘\0‘填充。那文件系统会不会不做任何处理的将其存放在硬盘上呢？答案是否定的，文件系统没有傻到这种程度，因为这实际是中浪费，也是一种威胁，因为一旦黑客利用这个漏洞不断侵蚀磁盘资源，计算机就崩溃了。所以说，文件系统肯定会做相应的处理，下面我就来验证一下。

用ls来展现两个文件：

我们在用du来展现两个文件（du命令用于报告文件所使用的磁盘空间总量）：

可以看到，用ls展现的空洞和非空洞的大小完全相同，而用du命令展现的则有差别，一个占用了8个1024的字节块，而一个占用了16个1024的字节块。这里有个问题，文件大小为15014，算下来最多就15个block，为什么是16个呢？在《APUE》中有这样的解释："文件系统使用了若干块以存放指向实际数据块的各个指针"。

为什么会这样呢？原因是ls展现的文件的逻辑大小，也就是文件在文件系统表现出来的大小，而du展现的是文件物理大小，也就是文件在磁盘上实际所占的block数。所以说，空洞文件在文件系统表现的还是和普通文件一样的，但是实际上文件系统并没有给他分配所表现出来的那么多空间，只是存放了有用的信息。

接下俩我们再来看一个现象：

首先我们用cat来输出空洞文件中内容，然后重定向到一个新的文件中：

我们再来用cp去复制一个文件：

可以看到，用cat得到的文件，文件实际占用的block增加了，而cp的没有。那是因为cat在复制空洞文件时会将空洞补齐，将空洞填以0，因为cat命令就是简单的read和write的操作，read在遇到空洞时读出0，write则写入0，这时文件就变成了非空洞文件，而cp在复制文件时不会，cp命令会去判断文件是否有空洞，如果有，则会调用lseek进行空洞的模拟，所以还是会保持和源文件的一致性。

4.空洞文件有什么用？

空洞文件作用很大，例如迅雷下载文件，在未下载完成时就已经占据了全部文件大小的空间，这时候就是空洞文件。下载时如果没有空洞文件，多线程下载时文件就都只能从一个地方写入，这就不是多线程了。如果有了空洞文件，可以从不同的地址写入，就完成了多线程的优势任务。

感觉这并不是空洞文件的全部作用，后续将进行补充。。。。

Linux文件空洞与稀疏文件相关推荐

  1. linux下压缩并分割稀疏文件

    稀疏文件是指一个文件中大部分内容都是空字符的文件. 如虚拟机创建的100G的磁盘文件是,但系统不会马上分割出100G的空间,而是仅标识出虚拟硬盘文件是稀疏文件,待到数据存储时,再分配空间,这样可以大大 ...

  2. Linux和Windows稀疏文件拷贝移动

    1. 概述 稀疏文件(英语:sparse file)是一种计算机文件,它能尝试在文件内容大多为空时更有效率地使用文件系统的空间.它的原理是以简短的信息(元数据)表示空数据块,而不是在在磁盘上占用实际空 ...

  3. windows稀疏文件

    稀疏文件(Sparse File), 指的是文件中出现大量的0数据,这些数据对我们用处不大,但是却一样的占用我们的空间,针对此,WINNT 3.51中的NTFS文件系统对此进行了优化,那些无用的0字节 ...

  4. live messenger与稀疏文件—Sparse File Bit

    今天进行磁盘整理,发现一个奇怪的文件SimilarityTable_1:下面是我的C盘整理后的结果 卷   (C:)     卷的大小                                  ...

  5. linux空洞目录,学习笔记：linux之文件空洞

    文件空洞linux 咱们知道lseek()系统调用能够改变文件的偏移量,但若是程序调用使得文件偏移量跨越了文件结尾,而后再执行I/O操做,将会发生什么状况? read()调用将会返回0,表示文件结尾. ...

  6. Linux里的稀疏文件

    今天发现一个有意思的现象,文件系统大小只有37GB,上面却有一个900GB的文件!查了下,这个叫"稀疏文件",我理解类似于VMWare里的瘦硬盘模式吧,先预先划出一块空间,然后往里 ...

  7. linux文件尺寸的大小不一样,linux下文件大小不一致的情况分析，文件空洞

    df 显示的已使用磁盘占用率比du 统计出来的结果要大很多.原因,主要是由于两者计算结果的方式不同. 一.实验情况 1.创建并删除文件 创建文件前的磁盘容量情况: # df -h 文件系统 容量 已用 ...

  8. Linux系统中创建大文件，并作为文件系统使用

    在LInux系统的使用过程中,有时候会遇到诸如某个磁盘分区的大小不够用了,导致其下的文件系统不能正常写入数据.亦或者是系统swap分区太小,不够用或者不满足条件而导致的其他一系列问题.如果我们系统上挂 ...

  9. linux gcc编译下的文件读写操作

    linux下的文件操作 所有目录             1.文件及文件系统的定义             2.linux文件的类型             3.linux文件的权限          ...

最新文章

  1. k64 datasheet学习笔记35---Analog-to-Digital Converter (ADC)
  2. Python 字符串笔记(转自木木)
  3. oracle 查看日志组切换状态_Oracle 11g ADG 快照备库切换步骤
  4. Android开发之设置Dialog外部页透明的方法亲测可用
  5. virbox protector 为软件设置有效期_条码软件如何打印UCC-128条形码
  6. codemirror实现SQL代码自动提示功能
  7. 网站api自己怎么写_短视频文案怎么写？看这4个素材网站就够了
  8. 153870-20-3，S-acetyl-PEG3-alcohol羟基可以反应进一步衍生化合物
  9. Java 简单的用户管理系统（代码注释超全超详细！！！）
  10. 微信分享解决wx not defined
  11. 显示技术全倒装COB小间距LED与正装COB小间距的优势对比。
  12. python libusb_libusb介绍和使用示例
  13. Google Gson 格式化日期时间
  14. 使用matlab读取gml网络数据
  15. manjaro双系统 windows_manjaro win10双系统安装
  16. HTTP状态码详解大全
  17. 2022年数据分析决赛试题简要分析
  18. 供独立游戏开发者参考的2D美工教程（三）
  19. C语言实现小游戏：五子棋
  20. Material组件库中table组件的sticky属性

热门文章

  1. React Native工程中TSLint静态检查工具的探索之路
  2. 阿里P8架构师谈：多线程、架构、异步消息、Redis等性能优化策略
  3. 论文浅尝 | 从具有数值边缘属性的知识图谱中学习嵌入
  4. 李涓子 | 机器智能加速器：大数据环境下知识工程的机遇和挑战
  5. Base64加解密的实现方式
  6. 一种基于伪标签半监督学习的小样本调制识别算法
  7. C#穿透session隔离———Windows服务启动UI交互程序
  8. lintcode12 带最小值操作的栈
  9. vc中关于 directx的配置，和dxsdk_extras（directshow)
  10. 使用文件监控对象FileSystemWatcher实现数据同步