Linux中的文件

1.1 文件属性概述（ls -lhi）

linux里一切皆文件
Linux系统中的文件或目录的属性主要包括：索引节点（inode），文件类型，权限属性，链接数，所归属的用户和用户组，最近修改时间等内容：

文字解释：
第一列：inode索引节点编号（相当于人的身份证，全国唯一）
第二列：文件类型及权限
第二列共11个字符：其中第一个字符为文件类型，随后的9个字符为文件的对应权限，最后一个字符点号“.”是和selinux有关的一个标识；
第三列：硬链接个数（详细参看ln命令的讲解）；
相当于超市的多个入口，可以从不同的文件入口进入文件，还可以互为备份（消防通道）
第四列：文件或目录所属的用户 文件的所有者（属主）；
linux里面文件和程序的存在必须要有用户和组满足相应的存在需求。
第五咧：文件或目录所属的组
第六列：文件或目录的大小；
第七八九列：文件或目录的修改时间：默认月日时分
第十列：实际的文件或目录名
文件名不算文件的属性

下面我们以chensiqi文件为例进行说明，具体列的内容参考下上面的图：

1736707 -rwx-xr-x- 1 root root 35 Oct 28 11:29 chensiqi

• inode索引节点编号：1736707
• 文件类型，文件类型是-，表示这是一个普通文件；
• 文件权限：文件权限是rwxr-xr-x，表示文件属主可读，可写，可执行，文件归属的用户组可读可执行，其他用户可执行。
• 硬链接个数：表示chensiqi这个文件没有其它的硬链接，因为连接数是1，就是他本身；
• 文件属主：这个文件所属的用户，这里意思是chensiqi文件被root用户拥有，注意，是第一个root；
• 文件属组：这个文件所属的用户组，在这里是root用户组，是显示信息里的第二个root
• 文件大小：文件大小是35个字节
• 文件修改时间：这里的时间是该文件最后被更新（包括文件创建，内容更新，文件名更新等）的时间，可用如下命令查看文件的修改，访问，创建的时间

1.2 索引节点inode

1.2.1 inode 概述

• 硬盘要存储数据，首先要分区，然后格式化创建文件系统，最后挂载，才能存数据。
• Inode，中文意思是索引节点（index node）。在每个linux存储设备或存储设备的分区（存储设备可以是硬盘，软盘，U盘...）被格式化为ext4（CentOS6.8）文件系统后，一般生成两部分：第一部分是Inode（很多个），第二部分是Block（很多个）。
• 这个Block是用来存储实际数据用的，例如：照片，视频等普通文件数据。
• 而inode就是用来存储这些数据属性信息的（也就是ls -l的结果），inode属性信息包括不限于文件大小，属主（用户），归属的用户组，文件权限，文件类型，修改时间，还包含指向文件实体的指针功能（inode节点--block的对应关系）等，但是，inode里面唯独不包含文件名本身

身份证号 ==== inode号
身高体重三围有没有头发（属性）====inode

• Inode除了记录文件属性的信息外，还会为每个文件进行信息索引，所以就有了inode的数值。操作系统根据指令，即可通过inode的值最快的找到相对应的文件实体。文件，inode，block之间的关系见下图：

为了能让大家更形象的理解，我举个例子。假如有一本书，存储设备和分区就相当于这本书，Block相当于书中的每一页内容，而inode就相当于这本书前面的目录，一本书有很多内容，一个知识点可能有多页，如果想查找某部分或某知识点的内容，我们一般先查书的目录，通过目录能更快的找到我们想要看的知识点的内容。虽然不太恰当，但还是比较形象。

当我们用ls查看某个目录或文件时，如果加上-i参数，就可以看到inode节点了；

【root@chensiqi /】# ls -i

• 上图第一列inode值259615；查看一个文件或目录的inode，通过ls命令的-i参数即可。
• 因为inode要存放文件的属性信息，所以每个inode本身是有大小的，Centos5系列inode的默认大小是128字节，而Centos6系列inode的默认大小是256字节，inode的大小在分区被格式化创建文件系统之后定下来的，格式化以后就无法更改inode大小，格式化前可以通过参数指定inode的大小，但是一般企业工作环境没这个需求。
• 不同Centos版本inode大小不同
  

查看文件系统inode总量以及剩余量

【root@chensiqi /】# df -i

查看磁盘使用量

[root@chensiqi /]# df -h

Inode:存放文件的属性+文件内容的位置（block的位置） df - l 查看使用量
Block：存放实际数据

1.2.2 企业案例模拟：

模拟磁盘满的情况

磁盘满的一个特征（no space left on device）

1.block 满了 磁盘空间满了

2.inode 满了 创建一个文件就需要一个inode

1.2.3 有关inode的小结

学会给阶段性的知识做小结是学好linux运维的好习惯。

1. 诞生：磁盘被分区并格式化为ext4文件系统后，会生成一定数量的inode和block
2. inode称为索引（目录）节点，它的作用是存放文件的属性信息以及作为文件的索引（指向文件的实体block）
3. ext3/ext4 文件系统的block 存放的是文件的实际内容（数据）。
4. inode是磁盘上的一块存储空间，CentOS6非启动分区inode默认大小256字节，CentOS5是128字节
5. inode的表现是形式一串数字，不同的文件对应的inode（一串数字）在文件系统里是唯一的。
6. inode节点号相同的文件，互为硬链接文件，可以认为是一个文件的不同入口。
7. ext3/ext4文件系统下，一个文件至少要占用一个inode和一个block。（文件size比较大）
8. ext3/ext4文件系统下，正常情况一个文件占用且只能占用一个inode（人和身份证号）
9. block是用来存储实际数据的，每个block的大小一般有1k，2k，4k几种。其中引导分区等为1k，其他普通分区多为4K（CentOS6）
10. 如果一个文件很大（高清大片4G），需要占用多个block，如果文件很小（0.01k），至少占一个block，并且这个block的剩余空间就浪费了，即无法在存储其他数据

1.2.4 有关Block的知识小结

1. 磁盘读取数据是按block为单位读取的
2. 一个文件可能占用多个block。每读取一个block就会消耗一次磁盘I/O
3. 如果要提升磁盘I/O性能，那么就要尽可能一次性读取数据尽量的多。
4. 一个block只能存放一个文件的内容，无论内容多小。如果block默认是4K大小，那么存放一个1K的文件，剩余3K就不能存放别的文件，只能浪费了
5. Block并非越大越好。Block太大对于存放小文件就会浪费磁盘空间，例如：1000K的文件，Block大小为4K，占用250个Block，如果Block默认为1K，则需要占用1000个Block。访问效率谁更高？消耗I/O分别为250次和1000次。
6. 根据业务需求，确定默认的block大小，如果是大文件（大于16K）一般设置block大一点，小文件（小于1K）一般设置block小一点
7. block太大，例如4K，文件都是0.1K的，大量浪费磁盘空间，但是访问性能高
8. block太小，例如1K，文件都是1000K，消耗大量磁盘I/O
9. 企业里文件都会比较大（一般会大于4K），block设置大一些会提升磁盘访问效率。
10. ext3/ext4文件系统（CentOS5和CentOS6），一般都设置为4K。
    当前的生产环境一般设置为4K，特殊的业务，如视频可以加大block大小

• Block块越大对于单个的小文件多（0.5K）的业务，会非常浪费空间，因为，一个文件无论多大都会必须占用至少一个inode和一个block，磁盘读取数据是按Block为单位读取的，但是对于大文件，可以提升读取的效率，因为如果block太小，就要读多个block，这样就消耗磁盘I/O，如果block大，则会读较少的aBlock就读完数据，从而减少磁盘I/O

• Block块太小又会影响硬盘读取大文件数据的效率，Block块越小，同样存储一个文件就需要更多的Block，这样硬盘读取数据时就要读取多个block，因此效率就越低。

• Block分大了，浪费空间，分小了，影响磁盘读取性能

1.2.5 inode与block总的小结

1. 磁盘被分区格式化文件系统后，会分为inode和block两部分内容
2. inode存放文件的属性以及指向文件实体的指针（block的位置），文件名不在inode里，一般在上级目录的block里
3. 访问文件的过程，通过文件名（上一级目录的block）--->inode--->blocks
4. inode centos6一般情况默认非启动分区大小256B，block大小1，2，4K，默认是4K，注意，引导分区等特殊分区除外
5. 通过df -i 查看inode的数量及使用情况，dumpe2fs ／dev/sda3 查看inode及block的大小及数量
6. 一个文件至少要占用一个inode及一个block，多个文件可以占用同一个inode（硬链接），相同文件
7. 一个block只能被一个文件使用，如果文件很小block很大，剩余空间浪费，无法继续被其他文件使用
8. block不是越大越好，要根据业务的文件大小进行选择，一般CentOS6就是默认4K
9. 可以在格式化的时候改变inode及block的大小

1.2.6 企业面试题一：

一个100M（100000K）的磁盘分区，分别写入1K的文件或写入1M的文件，分别可以写多少个？

• 1K文件虽小，但是block一般默认4K，即使1K的数据也会占用4K大小，比如大家创建一个空文件，然后du -sk 看看大小是多少。（如果大家此时认为应该100000/4的话，那么你就掉坑了-_-!别忘了存储数据，消耗的不光是block还有inode，inode默认只有256K（centos6），每个文件至少占用一个block的同时还会占用一个inode）
• 1M的数据他刚好能被4整除。所以不会浪费空间,大约为100个左右，inode充足。
  总上对于大文件一般inode是足够的，大文件基本也不会浪费空间，整除就可以；但是对于小文件来说，inode是不足够的，因此能够存储的数量就是inode的数量

1.27 企业面试题二：

如果向磁盘写入数据提示如下错误：No space left on device，通过df -h查看磁盘空间，发现没满，请问可能原因是什么？企业场景什么情况下会导致这个问题发生？

• 磁盘没满但是不能卸乳文件，最可能的原因就是inode被耗尽了
  企业工作中邮件临时队列/var/spool/clientmquene或/var/spool/postfix/maildrop这里很容易被大量小文件占满导致No space left on device的错误。clientmquene目录只有安装了sendmail服务，才会有，是sendmail的临时队列。centos5.8默认就会装sendmail，centos6默认没有sendmail，但是有postfix

1.3文件类型及文件扩展名

1.3.1 文件类型介绍

• windows扩展名让系统区分不同文件类型，扩展名错误导致文件无法打开。
• linux通过扩展名让人区分文件类型，为了易读，错误也可以正常使用

例如：
windows图片文件扩展名：jpg，jpeg，png，gif等
文本文件扩展名：doc，docx，txt，pdf

1.3.2 Linux中的文件类型

对于这里我不想说太多，因为实在感觉对于实际应用意义不大，大家只需要知道通过ls -l查看目录的时候，
1，如果权限那里是-rw--r--r--，第一个字符是‘-’就代表是普通文件
2，如果第一个字符是d例如drw--r--r--.就代表是个文件夹
3，如果第一个字符是l例如lrw--r--r--，就代表是个软链接

1.3.3 软连接

软连接文件可通过：
ln -s 源文件名 新文件名 的方式来创建（如果不使用-s，则会创建硬链接，但不适合目录）
这个软连接和windows的快捷方式是相似的。

1.3.4 Linux下扩展名的作用

在linux中，虽然扩展名没什么意义，但是为了兼容windows，同时，便于我们大多数windows用户区分文件的不同，所以，我们还是习惯通过扩展名来表示不同文件的类型。

如下：

1. tar，tar.gz,tgz,zip,tar.bz表示压缩文件，创建命令一般为tar,gzip,unzip等
2. .sh表示shell脚本文件，通过shell语言开发的程序
3. .pl表示perl语言文件，通过perl语言开发的程序
4. .py表示python语言文件，通过python语言开发的程序
5. .html,.htm,.php,.jsp,.do表示网页语言的文件
6. .conf表示系统的配置文件
7. .rpm表示rpm安装包文件

1.4 知识扩展（企业实际经验）

问题： Linux文件系统如何选择？

通过综合使用多种标准文件系统Benchmarks对Ext3，Ext4，Reiserfs，XFS，JFS，Reiser4的性能测试对比，对不同应用选择合适的文件系统给出以下方案，供大家参考。

1. 大量小文件（LOSF，Lost of small files）I/O应用（如小图片）

• Reiserfs（首选），Ext4文件系统适合这类负载特征，IO调度算法选择deadline，block size=4096，ext4关闭日志功能
• reiserfs mount参数：-o defaults，async，noatime，nodiratime，notail，data=writeback
• ext4 mount参数：-o defaults,async,noatime,nodiratime,data=writeback,barrier=0
• 关闭ext4日志：tune2fs -O^has_joumal /dev/sdXX

2.大文件I/O应用（如视频下载，流媒体）

• EXT4文件系统适合此类负载特征，IO调度算法选择anticipatory，block size=4096，关闭日志功能，启用extent（default）
• mount参数：-o defaults，async，noatime,nodiratime,data=writeback,barrier=0
• 关闭ext4日志：tune2fs -O^has_joumal /dev/sdXX

3.SSD文件系统选择

EXT4/Reiserfs可以作为SSD文件系统，但未对SSD做优化，不能充分发挥SSD性能，并影响SSD使用时间
Btrfs对SSD作了优化，mount通过参数启用。但Btrfs扔处于试验阶段，生产环境谨慎使用
JFFS2/Nilfs2/YAFFS是常用的flash file system，在嵌入式环境广泛应用，建议使用。性能目前还未作测试评估

简单分析一下选择Reiserfs和ext4文件系统的原因

1、Reiserfs

　大量小文件访问，衡量指标是IOPS，文件系统性能瓶颈在于文件元数据操作、目录操作、数据寻址。reiserfs对小文件作了优化，并使用B+ tree组织数据，加速了数据寻址，大大降低了open/create/delete/close等系统调用开销。mount时指定noatime,nodiratime,notail，减少不必要的inode操作，notail关闭tail package功能，以空间换取更高性能。因此，对于随机的小I/O读写，reiserfs是很好的选择。

2、Ext4

　大文件顺序访问，衡量指标是IO吞吐量，文件系统性能瓶颈在于数据块布局(layout)、数据寻址。Ext4对ext3主要作了两方面的优化:
一：是inode预分配。这使得inode具有很好的局部性特征，同一目录文件inode尽量放在一起，加速了目录寻址与操作性能。因此在小文件应用方面也具有很好的性能表现。
二：是extent/delay/multi的数据块分配策略。这些策略使得大文件的数据块保持连续存储在磁盘上，数据寻址次数大大减少，显著提高I/O吞吐量。
因此，对于顺序大I/O读写，EXT4是很好的选择。另外，XFS性能在大文件方面也相当不错。