操作系统学习笔记：文件管理

一、概述：

文件的概念：

什么是文件？

文件是在逻辑上具有完整意义的信息集合，它有一个名字作标识。一个文件必须要有一个文件名，用户利用文件名访问文件。

文件的基本特征：

——文件的内容为一组相关信息，可以是源程序、可执行的二进制代码程序、待处理的数据、表格、声音、图像等。

——文件具有保存性。文件被保存在如磁盘、磁带等存储介质中，其内容可以被长期保存和多次使用。

——文件可按名存取。每一个文件拥有唯一的标识名信息，用户无需了解文件所在的存储介质。

文件的基本属性：

文件系统：

什么是文件系统？

文件系统是操作系统中负责管理和存取文件的程序板块，也称为信息管理系统。

文件系统的组成：

它由管理文件所需的数据结构（例如文件控制块、存储分配表等）、相应的管理软件以及访问文件的一组操作所组成。

文件系统应当具有的五大功能：

——完成文件存储空间的管理。

建立文件时进行文件存储空间的分配，在删除文件时进行文件空间的回收。

——实现文件名到物理地址的映射。

这种映射对于用户来讲是透明的，用户不必了解文件的存放位置和查找方法等，只需要指出文件名就可以找到相应的文件。
这一映射是通过在文件说明部分中文件的物理地址来实现的。

——实现文件和目录的操作管理。

文件的建立、读、写和目录管理等基本操作是文件系统的基本功能。
文件操作管理负责根据各种操作的要求完成各种操作所规定的任务，如从外存中读出数据，或将数据写入外存中。

——提供文件共享能力和安全可靠措施。

文件共享是指多个用户可以使用同一文件，安全是防止文件被盗窃或破坏。
通常采用多级保护措施来实现文件的共享与安全。另外，还要提供保证文件系统的可靠性办法。

——文件系统向用户提供了有关文件和目录操作的借口。

文件的分类：

按文件的性质和用途分类：

——系统文件：

该类文件只允许用户通过系统调用来执行它们，而不允许对其进行修改和读写。系统文件主要由操作系统核心、各种系统应用程序和数据所组成。

——库文件：

该类文件包括允许用户对其进行读取、执行，但是不允许对其进行修改的子程序库。如C语言子程序库等。

——用户文件：

用户文件是用户委托文件系统保存的文件。
这类文件只有文件的所有者和被授权的用户才能使用。
用户文件主要由源程序、目标程序、用户数据库等组成。

按文件的组织形式分类：

——普通文件：

既包括系统文件也包括用户文件、库函数文件和使用程序文件。
普通文件主要是指组织格式为系统中所规定的最一般格式的文件，也就是平常所说的文件。

——目录文件：

——特殊文件：

有的系统中，所有的输入、输出设备都被看作特殊文件。
这组特殊文件在使用形式上与普通文件相同，如查找目录、存取操作等。
但是特殊文件的使用是与设备处理程序密切相关的。系统必须把对特殊文件的操作转入到对不同的设备的操作。

按使用和管理情况分类：

——临时文件：

它是一种私有资源，使用户在某次求解问题过程中产生的中间文件。
这种文件仅仅保存在磁盘上。在作为“档案”的外存介质上没有副本。临时文件随用户撤离系统而撤离，因此不可共享。

——永久文件：

这是用户经常要使用文件。
这类文件不仅在磁盘上有文件副本，且在作为”档案“的介质上也有一个可用的副本。

——档案文件：

仅保存在作为“档案”用的外存介质上，以备查证和恢复用。

按文件系统提出的保护级别分类：

——只读文件：

只允许用户对其执行读操作，对于写操作，系统将拒绝执行并给出错误信息。

——读写文件：

只允许用户对其进行读、写操作，而拒绝对其执行任何其他的操作。

——不保护文件：

这类文件是不加保护措施的文件，所有用户都可以对其进行存取等所有操作。

按文件的数据流向分类：

——输入型文件：

这些文件只能读。

——输出型文件：

这些文件只能写入。

——输入\ 输出文件：

这类文件既可读又可写。

文件的分类还有许多种，但是在文件系统中比较重要的两种分类方式是按文件的逻辑结构和物理结构进行分类。下一节我将仔细介绍！

文件的操作：

文件系统不应要求用户必须了解文件的物理组织才能使用文件，而应方便用户，提供给用户按其逻辑组织形式来使用文件。

一个文件系统至少要提供用户以下的文件操作功能：

——建立、删除、读、写、截断文件，文件换名、打开文件、关闭文件、复制文件（基本操作）。

——修改、插入、删除数据项操作。

——文件查找。

——修改文件属性：变更文件主的名字。

文件类型：

使用形式：主文件名字 . 扩展文件名

其中，扩展文件名部分指出文件的类型。

有三种类型文件可以被执行：

二、文件的结构和存取方式：

文件的组织结构是指文件的构造方式，用户和文件系统往往从不同的角度对待同一个文件。

因此对于任何一个文件都存在两种形式的结构:

——文件的逻辑结构：用户按自己对信息的使用要求组织文件，这种文件是独立于物理环境而构造的，因此把用户概念中的文件称为文件的逻辑结构，或称逻辑文件。

——文件的物理结构：又称为文件的存储结构，是指文件在辅存上的存储组织形式，这与存储介质的性质有关。

无论是文件的逻辑结构还是物理结构，其构造方式都会影响对文件的处理速度。

文件的存取方式：

——顺序存取：

顺序存取是按照文件的逻辑地址顺序存取。

——随机存取：

随机存取法允许用户根据记录的编号存取文件的任一记录，或者是根据存取命令把读写指针移到欲读写处来读写。

——按键存取：

按键（关键字）存取是一种用在复杂文件系统，特别是数据库管理系统中的存取方法。

文件的逻辑结构：

设计文件系统时，选择逻辑结构应遵循的原则：

便于修改
应提高检索效率
使文件信息占据最小的存储空间
便于用户进行操作

文件的逻辑结构分类：

——记录式文件（有结构文件）：

记录式文件在逻辑上被看成一组连续有序的记录的集合。每个记录由彼此相关的域构成。

根据记录的长度分类：定长记录文件、变长记录文件。

定长记录文件：文件中所有记录的长度都是相同的。所有记录中的各数据项都处在记录中相同的位置，具有相同的顺序及长度，文件的长度用记录数目表示。
变长记录文件：文件中各记录的长度不相同。原因可能是一个记录中所包含的数据详数目不同。

记录式文件可把文件中的记录按各种不同的方式排列，构成不同的逻辑结构，这样的记录式文件可以分为三类：

顺序文件：它是指按照某种顺序排列的记录所构成的文件，通常是定长记录文件，因此能用较快的速度查找文件的记录。
索引文件：通常建立一张索引表，为每一个记录设置一个表项，以加速对于记录的检索速度。索引表本身就是一个定长记录的顺序文件，从而也就可以方便地实现直接存取。
索引顺序文件：是上述两种文件方式的结合，它将顺序文件中的所有记录分为若干组（譬如50个记录为一组），并且为顺序文件建立一张索引表，在索引表中为每组中的第一个记录建立一个索引项，其中含有记录的键值和指向该记录的指针。

索引顺序文件可能是最为常见的一种逻辑文件形式。它有效的克服了变长记录文件不便于直接存取的缺点，而且所付出的代价也在可接受的范围之内。

——流式文件（无结构文件）：

无结构的流式文件是相关的有序字符的集合（源程序文件、目标代码文件、文档文件等）。

——特点是：

流式文件是指文件内的数据不再组成记录，只是依次的一串信息的集合。
字符是构成文件的基本单位。
读取经常按照长度来读取所需的信息，也可以使用插入的特殊字符作为分界。
查找困难、管理简单。

存储介质：

常用的存储介质有磁盘、光盘、磁带、闪存等。

——一盘磁带、一个磁盘组或一张软盘都称为一卷。卷是存储介质的物理单位。

——块是存储介质上连续信息所组成的一个区域，也叫做物理记录。块是内存储器和辅助存储设备进行信息交换的物理单位，每次总是交换一块或整数块信息。块大小要考虑用户使用方式、数据传输效率和存储设备等因素。不同类型的存储介质块的大小常常不同，同一类型介质的块的大小也可能不同。

文件的存储结构密切地依赖于存储设备的物理特性。存储设备的特性也决定了文件的存取方法。

顺序存储设备：

——什么是顺序存储设备？

顺序存储存储设备是严格依赖信息的物理位置进行定位和读/写的存储设备。顺序存储设备只有在前面的物理块被访问之后，才能访问后续物理块的内容。

我们以磁带机为例对顺序存储设备进行相关的介绍！

磁带机是一种典型的顺序存储设备。

——磁带上的物理块没有确定的物理地址，只是由带上的物理标志来识别。

——如果带速高，信息密度大，且所需块间隙小的话，则磁带存取速度和数据传输率高。

什么间隙？为什要有它？
块与块之间应当留有一定长度的间隙，用于磁带设备的启动与停止的缓冲。
间隙是块之间不记录用户代码信息的区域。

——磁带的一个突出优点是物理块长的变化范围较大，块可以很小，也可以很大。

——磁带作为顺序存储介质，具有存储容量大、稳定可靠、文件卷可拆卸、便于保存和块长变化范围较大等优点。

直接存储设备：

——什么是直接存储设备？

直接存储设备又叫随机存储设备。允许文件系统直接存取对应存储介质上的任意物理块。

我们以磁盘机为例进行直接存储设备的介绍！

磁盘机是一种典型直接存储存储设备。

——各磁盘块的编号按柱面顺序（零号柱面开始,由外向里），每个柱面按磁道顺序（从上向下），每个磁道又按扇区顺序进行排序，假定用 t 表示每个柱面上的磁道数（磁头/盘片），用 s 表示每个磁道上的扇区数，则第 i 柱面， j 磁头，k 扇区所对应的块号 b 可有如下公式确定：（位置决定块号）

b= （i×t+j）×s + k

——根据块号 p 也可确定该块在磁盘上的位置。每个柱面上有D =s×t个磁盘块，设M= p/D，N= p%D。于是，第P块在磁盘上位置为：（块号确定位置）

柱面号= M= p/D= p/(s×t)
磁头号=N / s
扇区号=N % s

磁盘机的特性与用途：

——磁盘具有直接读写的性质，并且物理块的大小固定不变，所以在这种介质上可以按照多种物理结构组织信息，并且不一定要求信息按逻辑记录的顺序存储。

——由于定位时间远远小于磁带设备的定位时间，因此广泛用于信息存储，并且作为虚拟存储器和虚拟设备使用。

——存储介质的容量逐渐增大，并且有些可像磁带一样随时更换，因而也作为保存档案材料之用，成为一种高速、大容量、可拆卸的海量存储器。

文件的物理结构：

文件的物理结构直接影响文件系统的性能。究竟采用哪种存储结构，需要根据存储设备类型、应用目标、响应时间和存储空间等多种因素进行权衡。

磁带文件的物理结构：

——磁带机是一种顺序存取的设备，一切组织在磁带上的文件都采用顺序结构,也就是将一个文件在逻辑上连续的信息存放到存储介质的依次相邻的块上，便形成顺序结构，磁带上的每个文件都有文件头标、文件信息和文件尾标三个组成部分。

磁盘文件的物理结构：

顺序文件/连续文件：

——定义：将一个文件中逻辑上连续的信息存放到磁盘上的依次相邻的块上便形成顺序结构，这类文件叫顺序文件，又称连续文件。

——优点：顺序访问容易、速度快。

——缺点：要求有连续的存储空间、必须事先知道文件的长度。

链接文件：

——定义：顺序的逻辑记录被存放在不连续的磁盘块上，用指针把这些磁盘块按逻辑记录的顺序链接起来，则形成了文件的链接结构，链接结构的文件称为“链接文件”或“串联文件” 。

——特性：采取离散分配方式，从而消除了外部碎片，故可显著地提高辅存空间的利用率，且也无需事先知道文件的长度。磁盘上的所有空闲块都可以被利用。

——优点：消除了外部碎片、显著地提高外存空间的利用率、无需事先知道文件的长度、插入删除记录容易。

——缺点：隐式链接，只适合于顺序访问、直接访问低效、可靠性较差；显式连接，不能支持高效地直接存取、存放链接指针的FAT表会占用较大的内存空间。

分类：

隐式链接：在每个盘块中含有一个指向下一个盘块的指针。

显式链接：把用于链接文件物理块的指针显式地存放在外存的一张链接表即文件分配表（FAT）中。

和FAT表相关的计算：假定磁盘有n块,若2m-1≤n≤2m，则FAT表的每项至少有m位，但多数情况取整字节倍数，有时取半个字节倍数。

计算举例：假定盘块的大小为1KB，硬盘的大小为500MB，采用显示链接分配方式时，该硬盘共有500K个盘块，故FAT中共有500K个表项；如果盘块从1开始编号，为了能保存最大的盘块号500K，该FAT表项最少需要19个比特位，将它扩展为半个字节的整数倍后，可知每个FAT表项需20位，即2.5个字节。因此，FAT需占用的存储空间的大小为：

2.5×500K=1250KB。

索引文件：

——定义：为每个文件分配一个索引块（用来存放索引的物理块），把分配给该文件的所有盘块号都记录在该索引块中，按照这种分配方式存储的文件就是索引文件。

——应用：一级索引、两级索引或多级索引结构。

——优点：支持直接访问，且不会产生外部碎片。

——缺点：索引要花费较多的外存空间。

——混合索引分配方式：指将多种不同级的索引分配方式结合而形成的一种分配方式，有效且实用。

相关计算题：索引文件的文件最大长度的计算

题目：在UNIX中，其索引结构共有13个地址项，其中10项登记直接地址，1项一级索引，1项二级索引，1项三级索引。假如每个盘块的大小为4KB，一个盘块号占用4字节。计算支持的文件最大长度是多少。
求解：直接地址项登记文件10个盘块，一级索引可登记1K个盘块，二级索引可登记1K×1K=1M个盘块，三级索引可登记1K×1K×1K =1G个盘块，允许文件长度=1G×4KB十1M×4KB十1K×4KB十40KB≥4TB。

直接文件（散列/Hash）：

——定义：在直接存取存储设备上，记录的关键字与其地址之间可以通过某种方式（函数）建立对应关系，利用这种关系实现记录存取的文件称为直接文件。

——“冲突”问题：地址的总数和记录的关键字之间并不存在一一对应的关系，不同的关键字经过变换可能会得到相同的地址。

——解决“冲突”方法：设计出好的变换函数，并且还要求有好的处理冲突的方法。

——优点：存取速度较快，存储空间不必连续，逻辑记录与物理记录之间不存在对应或顺序关系。

——缺点：对冲突的处理需要时间和空间的开销。

设备、文件、存取方法之间的关系：

三、文件目录：

为什么引入文件目录？

在现代计算机系统中，通常需要存储大量的文件。为了能有效地管理这些文件，必须对它们加以妥善的组织，以做到用户只需向系统提供所需访问文件的名字，系统就能快速、准确的找到指定文件。
这主要是以来文件目录来实现的，换句话说通过文件目录可以将文件名转换为改文件在外存上的物理位置。

个人理解：就像日常生活中你去图书馆，书太多，找起来太费劲，所以才会有图书目录供你查询。

文件目录管理应当达到的基本要求：

——实现“按名存取”

用户只需要提供文件名，就可以对文件进行存取。

——提高对目录的检索速度

合理地组织目录结构，可以加快对于目录的检索速度，从而加快对于文件的存取速度。

——文件共享

在多用户系统中，应当允许多个用户共享一个文件。

——允许文件重名

系统应当允许不同用户对于不同文件用相同的名字，以便用户按照自己的习惯命名文件。

文件控制块：

概念：

文件系统在创建每个文件时为其建立了一个文件目录，也称为文件说明或文件控制块FCB。文件目录是为文件设置的用于文件描述和文件控制的数据结构，它与文件一一对应，它是随着文件的建立而诞生，随着文件的删除而消失，某些内容随着文件的使用而动态改变。

文件控制块包括的内容：

——有关文件存取控制的信息：文件名、类型、文件属性等。

——有关文件结构的信息：逻辑结构、物理结构、存储位置。

——有关文件管理的信息：建立日期、修改日期等

文件目录结构：

文件系统把若干个文件的文件目录组织成一个独立的文件，这个全部由文件目录组成的文件称为目录文件。

一级目录结构：

——实现方式：最简单的文件目录，在操作系统中，为每个磁盘设置一张线性表，每个文件的相关说明信息占用一个目录项。

——优点：实现容易、管理简单、实现了按文件名存取。

——缺点：搜索范围宽、不允许文件重名、难于实现文件共享。

二级目录：

——实现方式：第一级为主文件目录，用于管理所有用户的文件目录，它的目录项登记了系统用户的名字及该用户文件目录的地址。第二级为用户文件目录，它为该用户的每个文件保存一登记栏，其内容与一级目录的目录项相同。

——优点：实现了对文件的保密和保护、允许不同用户使用相同的文件名、可以实现文件共享。

多级文件目录结构：

——实现方式：主文件目录演变为根目录。根目录项既可以表示一个普通文件，也可以是下一级目录的目录文件一个说明项。如此层层类推，形成了一个树型层次结构。

——优点：解决了文件重名问题、有利于文件的分类、便于制定保护文件的存取权限，有利于文件的保密。

目录的查找：即实现“按名存取”。

线性检索法：

——一级目录结构采用顺序查找法，依次扫描文件目录的目录项，将目录项中的名字与欲查找的文件名相比较。

——在多级目录中，采用绝对路径和相对路径的查找方法，使用相对路径名查找速度要快于绝对路径。

绝对路径：由根目录沿各级子目录到达该文件的路径名。如：E:\BaiduNetdisk\skin\demo.java
相对路径：就是从当前目录开始到文件的路径名。如：skin\demo.java

——查找举例：

假设要查找绝对路径名为\usr\include\user.h的文件，从根目录查起，线性检索查找过程如下：

第一步：从根目录查起，把根目录文件信息读到内存缓冲区。按给定的路径名中第一个分量usr依次与缓冲区中每个目录项比较，若找不到名为usr的目录项，则继续读入根目录文件的后续信息再比较，直到找到usr目录项或查完根目录都没有找到。
第二步：找到usr后，再根据这个目录项内容把usr目录文件信息读到内存缓冲区。按第一步的过程，查找到include目录项。
第三步：找到include后，再根据这个目录项内容把include目录文件信息读到内存缓冲区。按第一步的过程，查找到user.h目录项。

哈希检索：

——目录项信息存放在一个哈希表中。进行目录检索时，首先根据目录名来计算一个哈希值，然后得到一个指向哈希表目录项的指针。

——哈希检索算法的难点，在于选样合适的哈希表长度和哈希函数的构造。

其他算法：

——除了上面的两种算法之外，还可以考虑其他算法，如B+树。

目录的改进：目录文件只存储符号目录信息

——为何改进？

一个文件目录项一般要占用很多空间，这样会导致目录文件往往很大。在查找目录时，为了找到所需的目录项，常常要将存放目录文件的多个物理块逐块读入内存进行查找，这就降低了查找速度。（个人理解：过大，多次调入，查找麻烦）

——如何改进？

为加快目录查找可采用目录项分解法，即把目录项分为两部分：符号目录项（包含文件名以及相应的文件号）和基本目录项（包含除了文件名外文件控制块的其余全部信息）。

计算举例：

假设一个文件目录项占48个字节，符号目录项占8字节（文件名6字节，文件号2字节），基本目录项占48-6=42字节。设物理块大小512字节。假设目录文件有128个目录项。若不分解目录项，一个盘块存放5l2/48 =10目录项，128个目录项需要13个盘块，查找一个文件的平均访问的盘块数：(1+13)/2=7次。

分解后一个盘块存放5l2/8=64个符号目录项，128个符号目录项需要2个盘块，查找一个文件的平均访问的盘块数：(1+2)/2+1=2.5次。

四、文件系统及其实现：

文件系统的定义及其功能：

文件系统的定义：

文件系统是操作系统中负责管理和存取文件的程序模块。

文件系统的功能：

打开文件表：

打开文件表有什么用？

——为了管理打开的文件。

系统打开文件表：

——该“系统打开文件表”放在内存，用于保存已打开文件的目录项。此外，还保存文件号、共享计数、修改标志等等。

用户打开文件表：

——每个进程一般都有一个“用户打开文件表”。该表的内容有文件描述符，打开方式、系统打开文件表入口等等。

用户打开文件表与系统打开文件表之间的关系：

——用户打开文件表指向了系统打开文件表。如果多个进程共享同一个文件，则多个用户打开文件表目对应系统打开文件表的同一入口。

外存空间的调度：

主要讨论直接存储介质的空间分配。直接存储介质是分为若干个大小相等的物理块，并以块为单位来交换信息；因此存储空间管理实质上是空闲块的组织和管理问题（组织、分配、回收）。

空闲块表法：

——数据结构：

系统为每个磁盘建立一张空闲块表，表中每个登记项记录一组连续空闲块的首块号和块数，空闲块数为“0”的登记项为“空”登记项。

——分配回收算法：

这种管理方式适合采用顺序结构的文件 ,分配和回收算法类似内存储器的可变分区管理方式中采用的最先适应、最优适应和最坏适应算法。

可变分区管理方式中采用的最先适应、最优适应和最坏适应算法。（相关详细介绍，