文章目录

引言
一、inode和block
- 1、inode和block概述
- 2、inode的内容
- - 2.1 inode包含文件的元信息（文件属性）
  - 2.2 用stat命令查看某个文件的inode信息
  - 2.3 Linux系统文件三个主要的时间属性
  - 2.4 目录文件的结构
- 3、inode的号码
- 4、硬盘分区后的结构
- 5、访问文件的简单流程
- 6、inode的大小
- - 6.1 实验：模拟inode节点耗尽故障处理
- 7、inode的特殊作用
二、链接文件
三、恢复误删除的文件ext
- 1、编译安装extundelete软件包
- 2、EXT类型文件恢复操作步骤
- 3、实验
四、恢复XFS类型的文件
- 1、xfsdump
- 2、xfsrestore
- 3、xfs类型文件备份和恢复操作步骤
- 4、实验
- - 4.1 交互式
  - 4.2 无交互式
  - 4.3 增量备份
五、日志文件
- 1、日志的功能
- 2、日志文件的分类
- 3、日志保存位置
- 4、内核及系统日志
- - 4.1 由系统服务rsyslog统一管理
  - 4.2 日志消息的级别
  - 4.3 实验：日志采集
- 5、用户日志分析
- 6、程序日志分析
- 7、日志管理策略
- 8、journalctl工具
六、总结

引言

在Linux系统中，文件系统的运行block和inode息息相关，当Linux系统出现的各种故障时，故障的症状是最易发现的，而导致这一故障的原因才是最终排除故障的关键，熟悉日志文件，才能进一步的了解一般故障的分析与解决办法，及时解决各种系统问题。

一、inode和block

1、inode和block概述

文件数据包括元信息与实际数据
文件存储在硬盘上，硬盘最小存储单位是“扇区”，每个扇区存储512字节
- block（块）
  - 连续的8个扇区组成一个block
  - 是文件存取的最小单位
  - block一个块最小4k
inode（索引节点）
- 中文译名为“索引节点”，也叫i节点
- 用于存储文件元信息

2、inode的内容

2.1 inode包含文件的元信息（文件属性）

文件的字节数
文件拥有者的User ID
文件的Group ID
文件的读、写、执行权限;
文件的时间戳

一个文件会占用一个Inode（不包含文件名）至少一个block块

inode节点：（文件属性：文件大小、权限、时间戳）

block块：数据文件即编写文件内容大小

文件数据存在于块中

文件元信息存在于inode

2.2 用stat命令查看某个文件的inode信息

stat lc.txt    df -i      ls -i查看文件inode值

2.3 Linux系统文件三个主要的时间属性

atime(access time )               最后一次访问文件或目录的时间
mtime(modify time)                最后一次修改文件或目录(内容)的时间
ctime(change time)                最后一次改变文件或目录(属性)的时间

2.4 目录文件的结构

目录文件的结构
- 目录也是一种文件
- 目录文件的结构
每个inode都有一个号码，操作系统用inode号码来识别不同的文件
Linux系统内部不使用文件名，而使用inode号码来识别文件
对于用户，文件名只是inode号码便于识别的别称

举例：
cp或mv文件，看inode值是否改变

vim编辑时，相当于一个新文件覆盖老文件，所以inode节点号改变
进入vim之后不管有没有编辑信息，只要wq保存退出了，inode值就会改变

3、inode的号码

用户通过文件名打开文件时，系统内部的过程

系统找到这个文件名对应的inode号码
通过inode号码，获取inode信息
根据inode信息，找到文件数据所在的block，读出数据

查看inode号码的方法

ls -i命令：查看文件名对应的inode号码

ls -i lc.txt

stat命令：查看文件inode信息中的inode号码

stat lc.txt

4、硬盘分区后的结构

5、访问文件的简单流程

用户访问文件时，系统找到这个文件名对应的inode号码，判断用户是否有权限，若有权限则通过inode值，获取inode信息，根据inode信息，找到文件数据所在的block,读出数据；若没有权限则会给出拒绝访问回馈。

6、inode的大小

inode也会消耗硬盘空间
- 每个inode的大小
- 一般是128字节或256字节
格式化文件系统时确定inode的总数
使用df -i命令可以查看每个硬盘分区的inode总数和已经使用的数量

解析：

inode也会消耗硬盘空间，所以硬盘格式化的时候，操作系统自动将硬盘分成两个区域。一个是数据区，存放文件数据;另一个是inode区(inode table)，存放inode所包含的信息。
每个inode节点的大小，一般是128字节或236字节。inode节点的总数，在格式化时就给定，一般是每1KB或每2KB就设置一个inode假定在一块1GB的硬盘中，每个inode节点的大小为128字节，每1KB就设置一个inode，那么inode table的大小就会达到128MB，占整块硬盘的12.8%。
查看每个硬盘分区的inode总数和已经使用的数量，可以使用df命令。

 df -idf -iTh

查看每个inode节点的大小，可以用如下命令:

sudo dumpe2fs-h /dev/hda I grep"Inode size"

由于每个文件都必须有一个inode，因此有可能发生inode已经用光，但是硬盘还未存满的情况。这时，就无法在硬盘上创建新文件

6.1 实验：模拟inode节点耗尽故障处理

1、创建一个20G的新硬盘，设置分区，分出一个30M的分区

2、格式化并挂载，查看inode节点使用情况

3、模拟节点耗尽情况，查看到有15357个节点可用，因此直接创建20000个
plan1：用for循环语句添加20000个text

plan2：用touch命令添加

4、此时可用inode节点为0，设备上没有空间，无法再添加文件

5、删除之后，inode节点恢复

7、inode的特殊作用

由于inode号码与文件名分离，导致一些Unix/Linux系统具有以下的现象

当文件名包含特殊字符，可能无法正常删除文件，直接删除inode,也可以删除文件
移动或重命名文件时，只改变文件名，不影响inode号码
打开一个文件后，系统通过inode号码来识别该文件，不再考虑文件名
文件数据被修改保存后，会生成一个新的inode号码

找到并删除inode
find ./ -inum 52305140 -exec rm -i {} \;find ./ -inum 50464299 -delete

只能用find来删，直接rm无法删除

二、链接文件

为文件或目录建立链接文件
链接文件分类

硬链接
ln 源文件目标位置
软链接
ln -s 源文件或目录链接文件或目标位置

三、恢复误删除的文件ext

1、编译安装extundelete软件包

安装依赖包
e2fsprogs-libs-1.41.12-18.el6.x86_64rpm
e2fsprogs-devel-1.41.12-18.el6.x86_64rpm
配置、编译及安装
extundelete-0.2.4.tar.bz2

2、EXT类型文件恢复操作步骤

extundelete是一个开源的Linux数据恢复工具，支持ext3、ext4文件系统。(ext4只能在centos6版本恢复)#使用fdisk创建分区/dev/sdcl格式化ext3文件系统

使用fdisk创建分区/dev/sdb1，格式化并挂载

fdisk /dev/sdb
partprobe /dev/sdb  #不重启识别新分区
mkfs.ext3/dev/sdb1
mkdir /test
mount /dev/sdb1 /test
df-hT

安装依赖包

yum -y install e2fsprogs-devel e2fsprogs-libs

编译安装extundelete

把extundelete文件拖进test里
cd /test
wget http://nchc.dl.sourceforge.net/proiect/extundelete/extundelete/0.2.4/extundelete-0.2.4.tar.bz2
tar jxvf extundelete-0.2.4.tar.bz2
cd extundelete-0.2.4/
./configure --prefix=/usr/local/extundelete && make && make install
In-s /usr/local/extundelete/bin/*  /usr/bin/

模拟删除并执行恢复操作

cd/test
echo a>a
echo a>b
echo a>c
echo a>d
ls
extundelete /dev/sdb1 --inode 2
#查看文件系统/dev/sdb1下存在哪些文件，i节点是从2开始的，2代表该文件系统最开始的目录rm -rf a b
extundelete /dev/sdb1 --inode 2
cd ~
umount /test
extundelete /dev/sdb1 --restore-all  #恢复/dev/sdb1文件系统下的所有内容#在当前目录下会出现一个RECOVERED_FILES/目录，里面保存了已经恢复的文件
ls RECOVERED_FILES/

3、实验

1、创建一个新硬盘，设置分区，把分区格式化

2、挂载并查看

3、安装依赖包（yum -y install e2fsprogs-devel e2fsprogs-libs）

4、把extundelete文件拖进root里

5、把extundelete文件移动到test，然后解压

6、配置安装路径，编译安装extundelete命令

7、建立extundelete软连接

8、查看文件系统/dev/sdb2下存在哪些文件，i节点是从2开始的，2代表该文件系统最开始的目录。

9、删除a和b，然后再查看一下

10、卸载test，恢复/dev/sdb2 文件系统下的所有内容

11、在当前目录下会出现一个RECOVERED_FILES/目录，里面保存了已经恢复的文件（之前删除的a和b恢复了）。

四、恢复XFS类型的文件

1、xfsdump

xfsdump命令格式

xfsdump -f 备份存放位置，要备份路径或设备文件

xfsdump备份级别（默认为0）

0：完全备份
1-9：增量备份

xfsdump常用选项

-f：指定备份的文件夹
-L：指定标签session label
-M:指定设备标签media label
-s：备份单个文件，-s后面不能直接跟路径

xfsdump使用限制

1.只能备份已挂载的文件系统

2.必须使用root的权限才能操作

3.只能备份XFS文件系统

4.备份后的数据只能让xfsrestore解析

5.不能备份两个具有相同UUID的文件系统(可用blkid命令查看)

2、xfsrestore

xfsrestore命令格式

xfsrestore    -f    恢复文件的位置     存放恢复后文件的路径

3、xfs类型文件备份和恢复操作步骤

使用fdisk创建分区/dev/sdb1，格式化xfs文件系统

fdisk /dev/sdb
partprobe /dev/sdb
mkfs.xfs /dev/ sdbl              #  mkfs.xfs [-f] /dev/sdbl
mkdir /data
mount /dev/sdb1 /data/
cd /data
cp /etc/passwd ./
mkdir test
touch test/a    创建文件夹

使用xfsdump命令备份整个分区

rpm -qa | grep xfsdump
yum install -y xfsdump
xfsdump -f /opt/dump_sdb1 /dev/sdb1 [-L dump_sdb1 -M sdb1]
xfsdump -f /opt/dump_sdb /dev/sdb1 -L dump_sdb -M sdb1

模拟数据丢失并使用xfsrestore 命令恢复文件

cd /data/
rm -rf ./*
ls
xfsrestore -f /opt/dump_sdb1 /data/

4、实验

1、使用新硬盘，创建分区/dev/sdb3

2、格式化并挂载

3、创建测试使用的文件、目录，并在文件中写入数据

4、安装xfsdump（yum install -y xfsdump）

4.1 交互式

经过上述1-4操作步骤后
使用xfsdump命令备份整个分区

模拟数据丢失并使用xfsrestore 命令恢复文件

4.2 无交互式

经过上述1-4操作步骤后
使用xfsdump命令备份整个分区，指定备份文件的位置，指定备份设备

模拟数据丢失并使用xfsrestore 命令恢复文件

4.3 增量备份

增量备份还原

五、日志文件

1、日志的功能

用于记录系统、程序运行中发生的各种事件
通过阅读日志，有助于诊断和解决系统故障

2、日志文件的分类

内核及系统日志

由系统服务rsyslog统一进行管理，日志格式基本相似

用户日志

记录系统用户登录及退出系统的相关信息

程序日志.

由各种应用程序独立管理的日志文件，记录格式不统一

3、日志保存位置

默认位于: /var/log目录下

主要日志文件介绍

常见的一些日志文件:

#内核及公共消息日志:
/var/1og/messages:记录Linux内核消息及各种应用程序的公共日志信息，包括启动、IO错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服务，一般都可以从该日志文件中获得相关的事件记录信息。#计划任务日志:
/var/1og/cron:记录crond计划任务产生的事件信息。#系统引导日志:
/var/1og/dmesg:记录Linux系统在引导过程中的各种事件信息。#邮件系统日志:
/var/1og/maillog:记录进入或发出系统的电子邮件活动。#用户登录日志:
/var/log/secure:记录用户认证相关的安全事件信息。/var/1og/lastlog:记录每个用户最近的登录事件。二进制格式/var/1og/wtmp: 记录每个用户登录、注销及系统启动和停机事件。二进制格式/var/run/btmp: 记录失败的、错误的登录尝试及验证事件。二进制格式

举例：
通过192.168.109.12远程登录192.168.109.11，多次输入密码错误

在192.168.109.11里追踪用户认证相关的安全事件信息（tail -f /var/log/secure），能看到频繁登录的信息

4、内核及系统日志

4.1 由系统服务rsyslog统一管理

软件包：rsyslog-7.4.7-16.el7.x86_64
主要程序：/sbin/rsyslogd
配置文件：/etc/rsyslog.conf

*表示任意字符，第一句话意思是任意信息都做一个日志显示，除了mail、authpriv和cron
认证的日志写在secure，以mail开头的都写进maillog，以cron（周期性计划任务）开头的都写进cron

4.2 日志消息的级别

Linux系统内核日志消息的优先级别(数字等级越小，优先级越高，消息越重要)

日志记录的一般格式

4.3 实验：日志采集

首先，启用两台虚拟机，其中一台作为日志文件的收集站，例如11和12两台虚拟机，11为服务端，12为客户端

服务端配置
1、查看服务是否开启

2、配置rsyslog服务文件，开启19、20行。

3、编辑好之后，重启一下服务，查看是否有514端口

客户端配置

4、开启第90行

*.*代表里面的所有配置都进行能访问
@@代表TCP协议
@代表UDP
514接受日志的端口信息

5、重启服务

进行日志采集
6、在客户端进行操作时，服务端会实时采集客户端的日志信息

小结：
服务端—》配置文件—》1、接收哪种协议（TCP）；2、接收哪些日志类型
客户端：监听自己的rsyslog服务，一旦配置完成重启服务后，就会运行配置文件中的协议类型（tcp或udp）并且发送给服务端

5、用户日志分析

保存了用户登录、退出系统等相关信息

/var/log/lastlog:最近的用户登录事件
/var/log/wtmp:用户登录、注销及系统开、关机事件
/var/run/utmp:当前登录的每个用户的详细信息
/var/log/secure:与用户验证相关的安全性事件

举例：
1、/var/log/lastlog:最近的用户登录事件

2、/var/log/wtmp:用户登录、注销及系统开、关机事件

3、/var/run/utmp:当前登录的每个用户的详细信息

4、/var/log/secure:与用户验证相关的安全性事件

分析工具

users、who、w、last、lastb

last存放用户登录的信息

6、程序日志分析

由相应的应用程序独立进行管理

Web服务：/var/log/httpd/access_log、error_log代理服务：/var/log/squid/access.log、cache.logFTP服务：/var/log/xferlog

举例：

网页上登录192.168.109.11时，这边会实时显示日志信息

分析工具

文本查看、grep过滤检索、Webmin管理套件中查看
awk、sed等文本过滤、格式化编辑工具
Webalizer、Awstats等专用日志分析工具

7、日志管理策略

及时作好备份和归档
延长日志保存期限
控制日志访问权限

日志中可能会包含各类敏感信息，如账户、口令等
集中管理日志
将服务器的日志文件发到统一的日志文件服务器
便于日志信息的统一收集、整理和分析
杜绝日志信息的意外丢失、恶意篡改或删除

8、journalctl工具

journalctl工具是CentOS-7才有的工具
Systemd统一管理所有Unit的启动日志。带来的好处就是，可以只用journalct1一个命令，查看所有日志(内核日志和应用日志)。

日志的配置文件/etc/systemd/journald.conf ps efl grep journaldjournalctl        //查看所有日志(默认显示本次启动的所有日志)
journalctl-b     //查看本次启动的日志
journalctl -k    //查看内核日志 查看指定时间的日志
[root@localhost ~]# journalctl --since="2019-11-27 14:21:00"
[root@localhost ~]# journalctl --since="2019-11-27 14:21:00" --until="2019-11-27 14:30:00"
通过--since和--until选项，可以过滤任意时间限制，显示指定条件之前、之后或之间的日志[root@localhost log]# journalctl | wc-1 //查看系统总共的日志
2787journalctl-xe经常用来查看最近报错的日志-e:从结尾开始看
-x;提供问题相关的网址

六、总结

本文主要讲了以下几个知识点：
1、block和inode
2、硬链接与软链接
3、恢复误删除的文件（ext，xfs）
4、Linux主要包含的日志文件以及其功能

Linux文件系统与日志分析相关推荐

【AWSL】之Linux文件系统与日志分析（inode、恢复EXT类型的文件、恢复XFS类型的文件）
序言这里我主要介绍Linux文件系统与日志分析文件系统与日志分析序言一.inode与block 1. 概述 ①inode的内容 ②inode号码 ③文件存储 ④inode的大小 ⑤inode的 ...
Linux文件系统与日志分析（inode、inode节点耗尽故障处理、文件备份和恢复、日志文件管理）
Linux文件系统与日志分析一.inode和block概述 1.文件和扇区 2.块(block) 3.文件数据二.inode(索引节点) 1.inode的内容 2.inode的号码 3.inode ...
linux文件系统和日志分析！
linux文件系统和日志分析一.inode和block block(块) inode(索引节点) inode的元信息简述文件的读取过程 inode的特殊作用 stat命令二.硬链接与软链接硬链 ...
Linux文件系统与日志分析 ------ inode、block及日志
文件系统与日志分析 inode 与 block 介绍 inode的内容 inode 的号码 inode 的大小 inode的特殊作用硬链接与软链接软链接硬链接日志分析日志的功能日志文件的分 ...
Linux/Centos7系统管理之深入理解Linux文件系统与日志分析
前言:inode(文件节点)与block(数据块)硬链接与软连接恢复误删除的文件 (即rm-rf 的操作,可以先进行备份的操作,然后可以进行恢复ext4和xfs文件系统皆可)日志文件的分类用户日志与程 ...
Linux 文件系统与日志分析
文章目录 1.前言 2.深入理解 Linux 文件系统 2.1 inode 与 block 详解 (1) inode 和 block 概述 (2) inode 内容 (3) 查看文件的 inode 号 ...
理论：深入理解Linux文件系统与日志分析
前言: inode(文件节点)与block(数据块) 硬链接与软连接恢复误删除的文件 (即rm-rf 的操作,可以先进行备份的操作,然后可以进行恢复ext4和xfs文件系统皆可) 日志文件的分类用 ...
Linux文件系统与日志分析（inode、文件备份和恢复、日志文件管理）
文章目录一 . inode和block 1.文件和扇区 2.块(block) 3.文件数据二 . inode(索引节点) 1.inode的内容 2. inode的号码 3.inode的大小 4.i ...
Linux——(渗透理解)文件系统与日志分析
文件系统与日志分析超简单一.Linux系统中的 inode 与 block 1.1 inode 和 block 1.2 查找文件对应的inode(内容) 1.3 inode的大小 inode总结二 ...

Linux文件系统与日志分析