Linux入门之inode解析及管道重定向

inode

简介：

当磁盘分区格式化后会根据分区格式、大小等信息来指定分区分配多少个inode表，每个inode表都会有一个在当前分区中唯一的编号，可能有一些设备文件会占用指定的id，不同版本的系统可能有所不同

inode表：存取文件的元数据，matedate

block ma块位图：每一个快对应一个存储位，为文件存储数据，加速查找空闲磁盘快的机制

一个分区下,inode会有以下特征：

1、每一个文件都占用一个条目 (indoe 索引节点)，也叫inode表

2、每一个indoe表有一个全局唯一的编号

3、inode表中包含了有inode号、属主属组、时间戳、文件大小等，用于定位数据块的指针，说明文件存储在哪些池盘块上，不包含文件名

目录inode结构

1、目录本身也是文件，除了一些元数据外，并没有使用数据block

2、而文件名存在目录上,而目录也是个文件,磁盘块中存在一个表，inode和对应的文件名

目录只是一个文件映射表，类似json或 Map来表示( Key:inode id,value: filename )

文件的生成和删除都会对inode结构有所改变：

新建文件：判断目录是否存在，分配inode，在目录上添加映射信息，分配block

删除文件：删除目录上对应的条目，inode标记为空，block重新标记为未使用(空闲)，当要新文件创建会才会覆盖其中数据

剪贴文件：同分区下，只需要删除之取所在目录上的映射记录，然后在同分区的目录下再补上一个新的映射目录来指定原来的inode号和块位图区；不同分区下会删除原有目录的对其文件的映射记录，在指定分区目录下添加新的映射信息，然后分区inode和block位图，并将文件数据拷贝到分配好的数据block中，并删除原来分区上的数据

拷贝文件：无论相同分区还是不同分区，都会重新构建映射表，分配空闲的inode，根据文件大小来确定在空闲的bokck位图上分分配数据所占有的block个数

注意：无论删除还是剪贴，只要被使用过的inode和block数据没有被覆盖，也许还可以恢复，比如数据恢复软件，而新建文件或用到了拷贝过程都会占用空闲的inode和block，那么数据会被覆盖掉

补充：block也会分配类似的编号，而block可能会很多，所有会有block group:把block位图进行分组来进行更方便的文件定位

Indoe 定位文件

inode 除了一些matedate(元数据)还有指针，指针就是用来对block位图进行查询的，小文件可以占用一个或极少的block，但是大文件就可能占用很多的块数据，

这是就需要有不同等级的指针来去指向块数据

指针分级：

直接块指针

间接块指针

双重间接块指针

三重间接块指针

             inode大致流程图

总结：Inode编号越小，查找的途径相等也就越快，图中的block编号只是假设，一般分区至少都有上万个block来存数据，而inode指针定位文件数据也会因为文件所在的bitmap分布区间大小而逐步使用更高级的指针去查询

注意：

当直接指针不能指向对应的block，就需要间接指针去寻找数据所分部的其它块，再找不到就逐个使用级别更高的指针，每个分区格式化后会分配固定个数的Inode，而每个文件都会占用一个Inode编号，一般一个indoe表会占用分区空间的1%，当Inode被占用完，及时数据空间大小未被占用完，也无法再向分区里添加新的文件

 

使用 ls -i 命令查看文件的inode号

格式： ls  -i  file.....

因为inode id只是相同分区下唯一，所有不同分区下的inode id会不受影响

下面查看当前系统磁盘分区情况

# df
Filesystem          1K-blocks      Used Available Use% Mounted on
/dev/sda2           5080828        2392344  2426224  50% /
/dev/sda1            2030736      41860   1884056  3% /boot
tmpfs             257436       0    257436   0% /dev/shm

解析：会发现有2个分区，tmpfs为虚拟设备映射的目录挂载点

查看2个分区根目录的inode id

# ls  -idl  /  /boot
2 drwxr-xr-x 27 root root 4096 Jul 29 09:11 /
2 drwxr-xr-x  4 root root 4096 Jul  3 18:25 /boot

解析：这里最左边的编号就是文件的inode id号，这里都显示为2，前面说了，inode只是在相同文件系统下，也就是相同分区下是唯一的，跨分区inode互不干扰，这里是CentOS6及以前的系统，在CentOS7中，分区的挂载点目录id为128，现在想想，分区挂载点的id居然不是1号id？那么1号又是谁占用了？

下面查看2个特殊文件

#ls  -ild  /proc  /sys
1 dr-xr-xr-x 137 root root 0 Jul 23 20:44 /proc
1 drwxr-xr-x  11 root root 0 Jul 23 20:44 /sys

解析：/proc 为系统内核及其中运行各种进程信息虚拟映射文件，其中进程的信息都被保存成文件，而/sys则为当前系统硬件相关的一些虚拟文件系统

重定向 :

简介：

基本计算机I/O设备，及输入输出设备，在linux会使用特定程序，一般为指用命令来数据文件配合使用，Input 敲击键盘输入指令进行操作，ouput 接收指令来执行特定的操作，重定向一般都是操作文本或于文本相关的数据操作，每个文件都有一个fd文件描述符，来重定向一般是系统通过查找fd来执行命令

Linux 分为 3中I/O设备，012三种fd

1、标准输入 stdin        0 默认接收键盘的输入

2、标准输出 stdout       1 默认将指令操作的数据输出到终端控制台

3、标准错误 stderr      2 默认只显示错误的信息输入到终端控制台

输出重定向:

>     标准输出到指定文件，如果文件有内容将被覆盖

>>    追加输出

2>    错误输入，如果文件有内容将被覆盖

2>>    错误追加输出

&>    总是输出，标准输出和错误输出都会被输出文件

$>>   总是追加输出

将数据丢弃不不保留

/dev/null 软件设备,数据黑洞 ： 用于丢弃输出的数据

如果执行了指令不想输出结果信息到控制台可以通过重定向到/dev/null设备

echo  “hello world” &> /dev/null
#不现实打印信息
echo  “123456” | passwd --stdin root &> /dev/null
#不显示密码设置结果信息
find  /etc  -name  passwd  > a.log
#将/etc下文件名为passwd里的内容输出到a.log
ls /xxx /etc./sysconfig  > ok.log  2>error.log
#同时将错误和标准分别输出到两个文件

多个指令同时执行并将结果输出重定向

(who;pwd)  >  a.log   #同时写入用户当前登录列表信息和当前登录用户名

另一种用法，兼容linux 老版本，和&> &>>作用一样

command  > /test/file/out1.txt   2>  &1   #把错误的当成正确输出，存在就覆盖
command  >> /test/file/out2.txt  2>>  &1    #当作标准输出追加

常用的配合重定向使用的文本流处理工具

使用tr命令对文本流做处理

tr  [option]  [set1]  [set2]  默认将第一字符集转换为第二字符集

-c 取第一个字集的补集，排除之外的

-d 删除第一字符集匹配的字符

-t 转换时字符长度对应转换，不使用此项时第一字符集比第二字符集多，那么第一字符集后面的字都会转换为第二字符集最后一个字符，使用此项会只转换长度索引对应的字符

-s 将第一字符集重复的字符压缩为一个

注意：tr既能做输入重定向，也能做输出重定向

使用 hexdump 查看文本文件的ASCII码

hexdump  -C  [filepath]

将回车换行等符号转换为特殊字符

cat  -A  [filepath]

从文件中导入STDIN(标准输入)

与输出重定向不同，使用<来定向标准输入

用命令来接收从文件传入的文本输入流

tr  ‘a-z’  ‘A-Z’  /tmp/issue  #将小写字母转化为大写字母
[root@mzf ~]# tr 'a-z' 'A-Z' < /etc/issue
CENTOS RELEASE 6.8 (FINAL)
KERNEL \R ON AN \M
ON TERMINAL \L
HOSTNAME IS \N
TIME IS \T
HELLO WORLD!

tr  -d ‘abc’ <  /etc/fstab  #
删除文件中所有a、b、c

单行输入模式

使用cat将键盘逐行输入的内容重定向输出到文件中

cat  >  filea

[root@mzf ~]# cat > filea
mage
wangxiaochun

注意：按回车表示换行，换行前可以删除指定行的字符，输出完成后按Ctrl+d来结束输入

[root@mzf ~]# cat filea
mage
wangxiaochun

再次查看发现自动生成的文件已经保存了刚才输入的数据，表示输出重定向成功

情况文本内容并将另一个文本内容的数据出道文件中

cat  >  fileb  <  filea

多行输入模式

使用“<<终结词”命令从键盘把多行重定向到STDIN标准输入

注意特点：

1、总结词可以自定义，接收的范围为从开始到终结词的所有文本

2、每输入一行，文本就会被保存

使用mail命令结合多行输入模式发邮件

mail  -s  ‘Please  Call’  root  << EOF
>HiWang,
>
>Pleasegivemeacallwhenyougetin.Wemayneed
>todosomemaintenanceonserver1.
>
>Detailswhenyou'reon-site,
>Zhang
>EOF

注意：这里设定EOF为终结词，最后的终结词必须单独为1行，而且不能有空格

管道

使用 | 来链接多个命令

格式： COMMAND1 | COMMAND2 | COMMAND3 ....

解释：将第一条命令的标准输出发送给第二条命令的标准输入，然后命令2做处理后再将标准输出传给命令3的标准输入然后输出

特殊情况:

一般使用|来接收的命令结果只接收标准输出，而标准错误不会做处理，反而是命令失败，可以使用类似&>（标准错误和标准输入同时接收输出）,这里使用 |& 或者 2>&1 |来实现

列子：使用|配合tr处理输出文本

ls | tr  ‘a-z’‘A-Z’
#将ls查询的文件列表名中的小写字母换为大写

解析：将ls查询的输出数据流通过管道传到并输入给tr需要的文本流对象，然后输出，从这里发现，tr不仅可以输入也可以输出

重定向到多个目标

问题：当我们使用输入输出重定向时，处理的数据流要么就是输出到控制台，要不就是保存到文件，结构会取决管道的最后一条命令，那么又想输出到控制台，又想保存到文件?

使用tee 命令来同时输出多个目标

w  | tee  /test/file1                        #输出多个目标
#将w显示的用户登录信息列表输出到控制台并保存到/test/file1文件中
who | tee  -a  /test/file1              #追加
#将who显示的用户登录列表输出到控制台并追加到/test/file1文件中

使用tr和重定向例子

1、将/etc/issue文件中的内容转换为大写后保存至/tmp/issue.out文件中
tr 'a-z' 'A-Z' < /etc/issue > /tmp/issue.out
2、将当前系统登录用户的信息转换为大写后保存至/tmp/who.out文件中
who | tr 'a-z' 'A-Z' > /tmp/who.out
3、一个linux用户给root发邮件，要求邮件标题为”help”，邮件正文如下：
Hello, I am 用户名,the system version is here,pleasehelp me to check it ,thanks!
操作系统版本信息
mail -s 'help' root << EOF
Hello, I am `whoami`,the system version is here,pleasehelp me to check it ,thanks\!\n
`lsb_release -a`
EOFecho "Hello,I am $USER,the system version is here,pleasehelp me to check it,thanks\!" | mail -s 'help\n`cat /etc/redhat-release`' root
4、将/root/下文件列表，显示成一行，并文件名之间用空格隔开ls -a /root | tr '\n' ' '
5、file1文件的内容为：”1 2 3 4 5 6 7 8 9 10” 计算出所有数字的总和
echo "1 2 3 4 5 6 7 8

9 10" > /tmp/file1 ; tr ' ' '+' < /tmp/file1 | bc
# echo  "$[ `echo  "1 2 3 4 5 6 7 8 9 10" | tr  ' '  '+'`]"
6、删除Windows文本文件中的'^M'字符
cat -A win.txt | tr -d '\r'
7、处理字符串“xt.,l 1 jr#!$mn2 c*/fe3 uz4”，只保留其中的数字和空格
echo "xt.,l 1 jr#!$mn2 c*/fe3 uz4" | tr -d '[[:punct:]][[:alpha:]]'
8、将PATH变量每个目录显示在独立的一行
echo $PATH | tr -t ':' '\n'
9、删除指定文件的空行
cat /tmp/issue | tr -s '\n'
10、将文件中每个单词（字母）显示在独立的一行，并无空行
cat /tmp/issue | tr -cs '[[:alpha:]]' '[\n*]'
cat /tmp/issue | tr -cs '[:alpha:]' '\n'