异常现象:

一台机器上挂载的一块专门存放日志文件的磁盘容量超过85%

排查过程:

  1. 查看挂载磁盘空间使用情况,Use%使用率确实>85%,Used使用了70多G
df -h  # df命令的英文全称即“Disk Free”,顾名思义功能是用于显示系统上可使用的磁盘空间。默认显示单位为KB,建议使用“df -h”的参数组合,根据磁盘容量自动变换合适的单位,更利于阅读。
  1. 记得这台机器是有定时任务删日志的,看下定时任务列表确实是有删除日志的定时任务
cd /var/spool/cron  # 定时任务列表所在目录
ll  # 查看有哪些用户有定时任务
cat user  # 查看ll出来的各用户的定时任务
  1. 查看定时任务日志,看到最近时间是有执行删除的
less /var/log/cron  # 查看定时任务
G  # 跳转到文件尾
?del  # 搜索定时删除任务的日志
  1. 进到日志文件目录,查看下层子目录空间使用情况,是不是没删除成功,看哪个占的多,能清的尽量清一清。然而发现日志文件只用了55G
du -h # du命令法人英文全称即“Disk Usage”)命令用于显示目录或文件所占用的磁盘空间。
echo > unused.log # 清空文件
  1. 弄清du和df的区别,看了很多博文,当时大概认识到是因为有删除的文件句柄被还被进程使用着,所以还会被df统计到,需要结束或重启占用已删除文件句柄的进程(PS:后面又搜到一篇讲解du和df区别很清楚的博文半叶寒羽 » Linux磁盘管理命令df和du区别)。使用lsof可以列出当前系统打开文件linux lsof命令详解。
lsof |grep logdir  # 搜一下正打开的日志文件
# 太多了,第十列(最后一列)是文件名,去重看下
lsof |grep logdir |awk '{print $10}' |sort |uniq -c |sort
# 看到有很多是deleted,有点奇怪,具体搜一下
lsof |grep logdir |grep deleted
# 看到第一列都是filebeat,第二列PID都是8807,最后列都是文件名(deleted),且看文件名是今天的日志
ps -ef |grep 8807 # 查看这个PID跑的具体进程信息
  1. 想起来filebeat是用来抓取日志的,而且看文件名都是今天产生的日志,猜测是日志量增长的太快,删的也快,filebeat还在抓取,但是日志已经被rm了。所以重启filebeat,重启后df -h果然使用率降了下去!
service collector-sidecar restart

后续处理:

修改filebeat配置文件里的抓取路径,不再是所有日志文件都抓,而是只抓错误文件。

df磁盘容量>>du磁盘容量——磁盘容量告警排查与解决相关推荐

  1. df命令、du命令、磁盘分区(fdisk命令)

    df命令 用于查看已挂载磁盘的总容量.使用容量.属于容量:不加参数以kb为单位显示: 实验1: [root@shu-test ~]# df 文件系统 1K-块 已用 可用 已用% 挂载点 /dev/s ...

  2. linux du命令重定向,df命令、du命令 、磁盘分区

    9月25日任务 4.1 df命令 4.2 du命令 4.3/4.4 磁盘分区 4.1.命令 :df    #磁盘空间使用情况 [root@zgxlinux-02 ~]# df 按字节显示 1000By ...

  3. df命令,du命令,磁盘分区

    df命令 显示磁盘的相关信息. #df      查看系统磁盘设备,默认单位为KB #df -h  以KB.MB.GB.TG来显示信息. 带tmpfs的是临时文件,重启后会消失./dev/shm是内存 ...

  4. Linux centosVMware df命令、du命令、磁盘分区

    一.df命令 df(disk filesystem的简写)用于查看自己挂载磁盘的总容量.使用容量.剩余容量,可以不加任何参数,默认以KB为单位. [root@davery ~]# df 文件系统 1K ...

  5. df命令、du命令、磁盘分区

    2019独角兽企业重金招聘Python工程师标准>>> df命令 1.df命令简介 功 能:显示文件系统磁盘空间使用情况 语 法:df [选项] 补 充: 默认显示单位KB. 选项: ...

  6. Linux笔记(df命令,du命令,磁盘分区)

    一.df命令 df 汇报文件系统磁盘空间使用情况 文件系统名称    文件系统大小   已用空间    可用空间    已用百分比%    挂载点 -h    显示磁盘单位(根据磁盘大小) Byte字 ...

  7. win7 计算机 只有硬盘分区,Win7磁盘分区只有盘符没有容量怎么办?

    Win7磁盘分区只有盘符没有容量怎么办?网友Koki安装过一款软件,好像是叫做XnView的.卸载之后,发现计算机中的磁盘分区看起来怪怪的,原来是标识盘符容量条不见了,这种情况应该是注册表被恶意更改后 ...

  8. 3周第4次课 df、du命令 fdisk磁盘分区

    一.df命令 作用:查看文件系统磁盘空间使用情况.可以不加任何参数,默认按 k 为单位显示 . [root@centos701 ~]# df     (不带任何参数显示的单位为 KB) 文件系统中包含 ...

  9. 14-磁盘管理-df,du命令,磁盘分区

    三周第四次课(12月28日) 4.1 df命令 4.2 du命令 4.3/4.4 磁盘分区 一 df命令 df命令参数功能:检查文件系统的磁盘空间占用情况.可以利用该命令来获取硬盘被占用了多少空间,目 ...

最新文章

  1. 任务感知单目深度估计的3D目标检测
  2. Android 大牛开发者博客列表
  3. python转化成excel_python转换excel成py文件
  4. C#获取程序集的版本号和最后编译时间
  5. php 判断页面加载完,所有ajax执行完且页面加载完判断
  6. C/C++劫持技术(函数劫持、dll注入、动态库注入、HOOK)
  7. 基于Redis+Kafka的首页曝光过滤方案
  8. 5岁自学python编程-一张图告诉你孩子学编程怎么选
  9. Redis(RedisTemplate)运算、算法(incr、decr、increment)
  10. 漂亮的抽奖C#源代码
  11. Writing a good ISMAR paper
  12. Matplotlib - 中文字体
  13. 栅栏密码加密/解密【W型】在线工具
  14. C语言如何打开shx文件,shx文件是什么 shx文件如何打开
  15. 第三代计算机的内存是,Intel正式发布Cooper Lake、第三代傲腾内存和新数据中心SSD...
  16. html上下两个箭头符号怎么打出来,往返双箭头符号怎么打
  17. wx.getLocation() 定位误差 解决
  18. android跳转qq群代码,Android app 跳 QQ 群界面
  19. jenkins checkstyle:local variable hides a field
  20. python 统计素数并求和

热门文章

  1. OKL4虚拟化技术跟踪
  2. 通过 Github Actions 部署 Mkdocs 文档
  3. 安卓开发Android studio学习笔记12:读取解析XML(案例演示)
  4. [TextMatch框架] 简介
  5. GlusterFS技术概要分析(转自oschina)
  6. linux系统C语言程序的错误,linux下C语言错误整理
  7. 基于GUI的学生成绩管理系统
  8. nginx访问静态资源报404错误
  9. C# 后台发送Post Get请求 Json数据或表单数据
  10. BEA CEO庄思浩清华大学演讲(2002/12)