Linux日志文件系统
目录
一、inode与block
1.1inode和block概述
1.2inode的内容
1.3inode的号码
1.4inode的大小
1.5inode特点
1.6软连接与硬链接
1.7恢复误删除的xfs文件
1.8EXT类型文件恢复误删除
二、分析日志文件
2.1日志文件的分类
2.2.日志文件的格式
2.3常见日志文件
2.4日志文件分析
2.5日志管理
一、inode与block
1.1inode和block概述
1.文件存储在硬盘上,硬盘的最小存储单位叫做"扇区" ( sector )每个扇区存储512字节。
2.操作系统读取硬盘的时候,不会一个个扇区地读取,这样效率太低,而是一次性连续读取多个扇区,即一次性读取一个"块" ( block )。这种由多个扇区组成的"块",是文件存取的最小单位。"块"的大小 ,最常见的是4KB ,即连续八个扇区组成一个块。
3.文件数据存储在"块”中,那么还必须找到一个地方存储文件的元信息,比如文件的创建者、文件的创建日期、文件的大小等等。这种存储文件元信息的区域就叫做inode(索引节点),也叫i节点。
4.一个文件必须占用一个inode ,至少占用一个block。
inode和block的关系
1.2inode的内容
inode包含文件的元信息
inode包含很多文件的元信息,例如:
文件的字节数
文件拥有者的User ID
文件的Group ID
文件的读、 写、执行权限
文件的时间戳
文件类型
链接数
有关文件的其他数据
注意:inode不包含文件名
可以用stat命令,查看某个文件的inode信息
eg:
[root@localhost ~]# stat /etc/passwd
linux文件系统的三个时间戳
ctime(change time):最后一次改变文件或目录的时间,例如执行chmod、chown
atime(access time):是最近一次访问文件或目录的时间
mtime(modify time):是最后一次修改文件或目录(内容)的时间
目录文件结构
inode不包含文件名。文件名是存放在目录当中的。Linux系统中一切皆文件,因此目录也是一种文件。
每个inode都有一个号码,操作系统用inode号码来识别不同的文件,linux系统内部使用不同文件名,而使用inode来识别文件。 对于系统来说,文件名只是inode号码便于识别的别称,文件名和inode号码是一 一对应关系,每个inode号码对应一个文件名。.
1.3inode的号码
表面上,用户通过文件名,打开文件
实际上,系统内部这个过程分成三步:
系统找到这个文件名对应的inode号码
通过inode号码 ,获取inode信息
根据inode信息,找到文件数据所在的block
3.读出数据使用Is -i命令,可以看到文件名对应的inode号码: ls -i /etc/passwd
[root@localhost ~]# ls -i /etc/passwd 69209681 /etc/passwd
4.使用stat命令,查看文件inode信息中的inode号码: stat /etc/passwd
[root@localhost ~]# stat /etc/passwd
硬盘分区后的结构
- 访问文件的简单流程:
当一个用户在Linux系统中试图访问一个文件时,系统会先根据文件名去查找它的 inode ,看该用户是否具有访问这个文件的权限
如果有,就指向相对应的数据block
如果没有,就返回Permission denied
1.4inode的大小
inode也会消耗硬盘空间,每个inode的大小,一般是128字节或256字节
inode的总数,在格式化时就确定
查看每个硬盘分区的inode总数和已经使用的数量,可以使用命令: df -i
[root@localhost ~]# df -i
1.5inode特点
由于inode 号码与文件名分离,导致Linux系统具备以下几种特有的现象:
1.文件名包含特殊字符,可能无法正常删除。这时直接删除inode,能够起到删除文件的作用
删除inode号的方法:
法一: find 文件位置 -inum inode号码 -exec rm -i {} \;
法二: find 文件位置 -inum inode号码 -delete
法三: find 文件位置 -inum inode号码 | xargs rm -rf
eg:
2.mv移动文件或重命名文件,只是改变文件名,不影响inode 号(这里指的是非挂载磁盘)
5656=.-==
3.打开一个文件以后,系统就以inode号码来识别这个文件,不再考虑文件名。
4.文件数据被修改保存后,会生成一个新的inode 号码。
5.cp命令与inode:
分配一个空闲的inode号
在inode表中生成新条目在目录中创建一个目录项
将名称与inode编号关联拷贝数据生成新的文件
6.rm命令与inode
链接数递减,从而释放的inode号可以被重用把数据块放在空闲列表中
删除目录项
数据实际上不会马上被删除,但当另一个文件使用数据块时将被覆盖
1.6软连接与硬链接
创建格式:
ln [-s] 源文件或目录...链接文件或目标位置(加-s为软连接,不加为硬链接)
1.7恢复误删除的xfs文件
Centos 7系统默认采用xfs类型的文件,xfs类型的文件可使用xfsdump 与xfsrestore 工具进行备份恢复。
xfsdump的备份级别有两种:
0表示完全备份;
1-9表示增量备份。
xfsdump的备份级别默认为0。
xfsdump格式:
xfsdump -f 备份存放位置 要备份的路径或设备文件
xfsdump常用选项:
xfsdump使用限制:
只能备份已挂载的文件系统
必须使用root的权限才能操作
只能备份XFS文件系统
备份后的数据只能让xfsrestore解析
不能备份两个具有相同UUID的文件系统(可用blkid命令查看)
实例演示:
1.添加一块新的硬盘,创建新的分区,格式化并挂载
2.在挂载目录/mnt下创建文件
3.安装xfsdump,指定备份目录和需要备份的磁盘
4.删除文件,做恢复测试
1.8EXT类型文件恢复误删除
一、安装依赖包:
e2fsprogs-libs-1.41.12- 18. el6.x86_ 64.rpm
e2fsprogs-devel-1 41.12-18.el6.x86_ 64.rpm
二、 配置、编译及安装
安装依赖包:
extundelete-0.2.4.tar.bz2
三、具体步骤:
1.安装依赖包
inode节点耗尽故障处理实验:
二、分析日志文件
日志保存位置默认位于:/var/log目录下
日志的功能:
用于记录系统、程序运行中发生的各种事件
通过阅读日志,有助于诊断和解决系统故障
2.1日志文件的分类
内核及系统日志:这种日志数据由系统服务rsyslog统一管理,根据其主配置文件/etc/rsyslog.conf中的设置决定将内核消息及各种系统程序消息记录到什么位置
用户日志:这种日志数据用于记录Linux系统用户登录及退出系统的相关信息,包括用户名、登 录的终端、登录时间、来源主机、正在使用的进程操作等
程序日志:有些应用程序会选择由自己独立管理一份日志文件(而不是交给rsyslog服务管理),用于记录本程序运行过程中的各种事件信息
2.2.日志文件的格式
事件产生的时间。
产生事件的服务器的主机名。
产生事件的服务名或程序名。
事件的具体信息。
2.3常见日志文件
内核及公共消息日志 : /var/log/messages: 记录Linux内核消息及各种应用程序的公共日志信息,包括启动、I0错误、网络错误、程序故障等。 对于未使用独立日志文件的应用程序或服务,一般都可以从该日志文件中获得相关的事件记录信息。
计划任务日志 :/var/log/ cron : 记录crond计划任务产生的事件信息。
系统引导日志 :/var/ log/ dmesg: 记录Linux系统在引导过程中的各种事件信息。
邮件系统日志 :/var/log/maillog:记录进入或发出系统的电子邮件活动。
用户登录日志 :
/var/log/secure: 记录用户认证相关的安全事件信息。
/var/log/lastlog: 记录每个用户最近的登录事件。二进制格式
/var/log/wtmp: 记录每个用户登录、注销及系统启动和停机事件。二进制格式
/var/ run/btmp: 记录失败的、错误的登录尝试及验证事件。二进制格式
2.4日志文件分析
内核及系统日志配置文件及日志消息等级
[root@localhost mnt]# cat /etc/rsyslog.conf
查看/etc/rsyslog.conf配置文件
* . info;mail.none;authpriv.none;cron.none /var/log/messages*.info #表示info等级及以上的所有等级的信息都写到对应的日志文件里
mail.none #表示某事件的信息不写到日志文件里(这里比如是邮件)
Linux系统内核日志消息的优先级别(数字等级越小,优先级越高,消息越重要)
用户日志分析
在wtmp、btmp、 lastlog等日志文件中 ,保存了系统用户登录、 退出等相关的事件消息。 但是这些文件都是二进制的数据文件,不能直接使用tail、less等文本查看工具进行浏览,需要使用who、w、users、 last和lastb等用户查询命令来获取日志信息
查询当前登录的用户情况—users、who、w命令
查询用户登录的历史记录—last、lastb命令
lastb命令—用于查询登录失败的用户记录
程序日志分析
程序日志由相应的应用程序独立进行管理
Web服务:/var/log/httpd/
access_log ——记录客户访问事件
error_log ——记录错误事件
代理服务:/var/log/squid/
access.log、cache.log
分析工具:
文本查看、grep过来检索、Webmin管理套件中查看
awk、sed等文本过滤、格式化编辑工具
Webalizer、Awstats等专用日志分析工具
2.5日志管理
及时做好备份和归档(rsyslog shell/python脚本 ELK)
延长日志保存期限
控制日志访问权限
日志中可能会包含各类敏感信息,如账户和口令等
集中管理日志
将服务器的日志文件发到统一-的日志文件服务器
便于日志信息的统- -收集、 整理和分析
杜绝日志信息的意外丢失、恶意篡改或删除
Linux日志文件系统相关推荐
- linux c 编程 pdf_C/C++编程笔记:Linux 日志文件系统未解之谜,你知道吗?
文件系统要解决的一个关键问题是怎样防止掉电或系统崩溃造成数据损坏,在此类意外事件中,导致文件系统损坏的根本原因在于写文件不是原子操作,因为写文件涉及的不仅仅是用户数据,还涉及元数据(metadata) ...
- Linux日志文件系统(EXT4、XFS、JFS)及性能分析
Ext4 ReiserFS Btrfs 等七种文件系统性能比拼 自上一篇< Ext2 v.s. Ext3 v.s. Ext4 性能比拼> 发布以来,社会各界纷纷来电来函,给出了" ...
- 选择一个日志文件系统
通俗的说,计算机的文件系统就是一个像磁盘这样的存储设备如何存储.检索以及管理文件的方式.文件系统需要记录的不仅是文件本身每一个字节,及其在存储设备上的位置,还要存储文件相关的信息.比如,也要存储每个文 ...
- Linux 操作系统原理 — 日志结构的文件系统与日志文件系统
目录 文章目录 目录 日志结构的文件系统 日志文件系统 日志结构的文件系统 技术的改变会给当前的文件系统带来压力.这种情况下,CPU 会变得越来越快,磁盘会变得越来越大并且越来越便宜(但不会越来越快) ...
- linux 2行数据为一条记录 该如何操作这一条记录_Linux 日志文件系统原来是这样工作的...
文件系统要解决的一个关键问题是怎样防止掉电或系统崩溃造成数据损坏,在此类意外事件中,导致文件系统损坏的根本原因在于写文件不是原子操作,因为写文件涉及的不仅仅是用户数据,还涉及元数据(metadata) ...
- linux - FSCK与日志文件系统
日志文件系统(Journal File System)解决了掉电或系统崩溃造成元数据不一致的问题,细节参见<日志文件系统是怎样工作的>,它的原理是在进行写操作之前,把即将进行的各个步骤(称 ...
- linux的文件系统及节点表
linux的文件系统及节点表 一 linux的文件系统 1 我们都知道当我们安装linux时会首先给系统分区,然后我们会把分区格式化成EXT3格式的文件系统.那么在linux系统中还有没有其他的文件 ...
- 嵌入式linux文件系统格式,嵌入式Linux的文件系统分区及数据读写方法与流程
本发明涉及Linux系统的数据存储管理领域,特别是涉及一种基于NANDFlash存储器和UBIFS文件系统的嵌入式Linux的文件系统分区及数据读写方法. 背景技术: ::目前Linux操作系统由于源 ...
- 内核中设置文件结束符_Linux 日志文件系统原来是这样工作的
文件系统要解决的一个关键问题是怎样防止掉电或系统崩溃造成数据损坏,在此类意外事件中,导致文件系统损坏的根本原因在于写文件不是原子操作,因为写文件涉及的不仅仅是用户数据,还涉及元数据(metadata) ...
最新文章
- 自定义控件的构建(5)
- 牛津大学最新《计算代数拓扑》笔记书
- BeagleBone Black快速入门教程
- 高效地加载图片(一) 高效地加载大图
- java数据结构 队列_Java数据结构之队列
- HTTP协议通信原理
- 【POJ - 3273 】Monthly Expense (二分,最小最大值)
- phpmyadmin提示SELECT `prefs` FROM `phpmyadmin`.`pma_table_uiprefs` ······
- 【Django 2021年最新版教程22】数据库model 批量插入创建
- python 导入自己写的类_Python3.7模块的定义、导入、优化操作图文完全详解,附视频教程...
- JAVA 实验报告总结
- crf的实现 keras_keras 解决加载lstm+crf模型出错的问题
- win10的记事本怎么保存为html,win10系统电脑记事本保存不了的解决办法
- 梦幻西游服务器哪个区人气最多,梦幻西游大区火爆程度排名 北京一区垄断前三...
- 三维扫描仪在工业生产中的作用
- Word如何设置添加文本框?分享经验!怎么在word中加入文本框?
- java英文日期格式化_java如何把英文的日期格式改成数字化的
- C语言关系运算符计算题,【单选题】下列运算符中是C语言关系运算符的是().
- 羊了个羊, 听说这游戏很难
- 互联网的996与华为的惊世骇俗
热门文章
- No module named 'urllib3'
- iOS中手势之拖动手势UIPanGestureRecognizer
- 如何在局域网内让自己电脑的文件被其他电脑访问
- 基于强化学习的图像配准 - Image Registration: Reinforcement Learning Approaches
- FCoin币改试验区(主版C)筹备公告(5号)
- Visual Biasc 函数速查
- DOM 对象的方法和属性
- Java利用Set集合去重复
- Trac使用之 — Ticket
- 2005路网 2008路网 2009路网 2010路网 2011路网 2012路网 2013路网 2014路网 2015路网2016路网 2017路网 2018路网 2019路网下载与分析