今天上午准备登陆下测试环境的zabbix-server服务器查个东西，发现ssh一直连接不上报错"No space left on device"。

[C:\~]$ ssh 172.16.131.142
Last login: Fri Nov  1 11:28:19 2019 from 10.16.75.35
/root/.pyenv/libexec/pyenv-init: line 131: cannot create temp file for here-document: No space left on device

于是使用ansible跳过去，查看磁盘空间发现根目录已经100%了。

[root@ansible ~]# ssh 172.16.131.142
[root@zabbix1 ~]# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/vda1              50G   50G     0 100% /
/dev/mapper/datavg-home_lv343G  178G  148G  55% /home
/dev/mapper/datavg-swap_lv976M  490M  436M  53% /swap

因为之前遇到过类似情况，所以我猜想还是boot.log满了，去看一下果然41个G。

[root@zabbix1 ~]# cd /var/log/
[root@zabbix1 log]# du -sh *
26M  audit
41G  boot.log
4.0K  dmesg
4.0K  dmesg.old
4.0K  dracut.log
50M  httpd
824M  messages
4.0K  tallylog
224K  wtmp
4.0K  yum.log
21M  zabbix

查看日志里面的内容，日志在疯狂的写入，只截取部分。

[root@zabbix1 log]# tail -f boot.log
Nov  1 11:33:22 172.16.32.2 date=2019-11-01 time=11:33:22 devname=BJ-YZ-CO-FW1 devid=FG5H0E5818903326 logid=0103020301 type=event subtype=router level=information vd=root logdesc="Routing log" msg="OSPF:   RtrPriority 1"
Nov  1 11:33:22 172.16.32.2 date=2019-11-01 time=11:33:22 devname=BJ-YZ-CO-FW1 devid=FG5H0E5818903326 logid=0103020301 type=event subtype=router level=information vd=root logdesc="Routing log" msg="OSPF:   RtrDeadInterval 12"
Nov  1 11:33:22 172.16.32.2 date=2019-11-01 time=11:33:22 devname=BJ-YZ-CO-FW1 devid=FG5H0E5818903326 logid=0103020301 type=event subtype=router level=information vd=root logdesc="Routing log" msg="OSPF:   DRouter 0.0.0.0"
Nov  1 11:33:22 172.16.32.2 date=2019-11-01 time=11:33:22 devname=BJ-YZ-CO-FW1 devid=FG5H0E5818903326 logid=0103020301 type=event subtype=router level=information vd=root logdesc="Routing log" msg="OSPF:   BDRouter 0.0.0.0"
Nov  1 11:33:22 172.16.32.2 date=2019-11-01 time=11:33:22 devname=BJ-YZ-CO-FW1 devid=FG5H0E5818903326 logid=0103020301 type=event subtype=router level=information vd=root logdesc="Routing log" msg="OSPF:   # Neighbors 1"
Nov  1 11:33:22 172.16.32.2 date=2019-11-01 time=11:33:22 devname=BJ-YZ-CO-FW1 devid=FG5H0E5818903326 logid=0103020301 type=event subtype=router level=information vd=root logdesc="Routing log" msg="OSPF:     Neighbor 172.16.44.18"
Nov  1 11:33:22 172.16.32.2 date=2019-11-01 time=11:33:22 devname=BJ-YZ-CO-FW1 devid=FG5H0E5818903326 logid=0103020301 type=event subtype=router level=information vd=root logdesc="Routing log" msg="OSPF: NFSM[Vlanif105:172.16.44.18-172.16.46.1]: Full (HelloReceived)"
Nov  1 11:24:02 2019 BJ-YZ-DS-SW1&2 %%10DRVPLAT/4/DrvDebug: -DevIP=172.16.32.5-Slot=2; Many Parity Errors have been detected in last 10s.
Nov  1 11:24:02 2019 BJ-YZ-DS-SW1&2 %%10DRVPLAT/4/Log Info: -DevIP=172.16.32.5-Slot=2; Slot 2,unit 0 DLB_HGT_FLOWSET_TIMESTAMP_PAGE_X entry 693 parity error.
Nov  1 11:24:02 2019 BJ-YZ-DS-SW1&2 %%10DRVPLAT/4/Log Info: -DevIP=172.16.32.5-Slot=2; Slot 2,unit 0 DLB_HGT_FLOWSET_TIMESTAMP_PAGE_X entry 693 parity error.
Nov  1 11:24:02 2019 BJ-YZ-DS-SW1&2 %%10DRVPLAT/4/Log Info: -DevIP=172.16.32.5-Slot=2; Slot 2,unit 0 DLB_HGT_FLOWSET_TIMESTAMP_PAGE_X entry 693 parity error.
Nov  1 11:24:02 2019 BJ-YZ-DS-SW1&2 %%10DRVPLAT/4/Log Info: -DevIP=172.16.32.5-Slot=2; Slot 2,unit 0 DLB_HGT_FLOWSET_TIMESTAMP_PAGE_X entry 693 parity error.

很明显日志里面有172.16.32.5和172.16.32.2的信息，去zabbix上看了一下发现是网络设备，但是zabbix显示的是已经挂掉了，但是可以查看，应该是缓存。

先备份下这个日志，再清空释放空间，因为根下已经没空间了，所以压缩到/home下

[root@zabbix1 log]# tar zcvf /home/2019-11-1-boot.log.tar.gz  boot.log
[root@zabbix1 log]# cat /dev/null > boot.log

查看zabbix发现server的10051端口已经没有了，只有agent的10050端口

[root@zabbix1 ~]# netstat -tnlp | grep zabbix
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address               Foreign Address             State       PID/Program name
tcp        0      0 :::10050                    :::*                        LISTEN      15271/zabbix_agentd

重启zabbix-server

[root@zabbix1 ~]# service zabbix-server restart
Shutting down Zabbix server:                               [FAILED]
Starting Zabbix server:                                    [  OK  ]
[root@zabbix1 ~]# netstat -tnlp | grep zabbix
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address               Foreign Address             State       PID/Program name
tcp        0      0 :::10050                    :::*                        LISTEN      15271/zabbix_agentd
tcp        0      0 :::10051                    :::*                        LISTEN      1283/zabbix_server

原因

172.16.32.5这台网络设备一直报错，导致不停的刷日志，zabbix-server上配置了网络设备的rsyslog，所以有大量的报错日志写入到boot.log。

解决办法

注释掉rsyslog中的/var/log/boot.log。

[root@zabbix1 rsyslog.d]# vim /etc/rsyslog.conf
#local7.*             /var/log/boot.log

参考链接：

zabbix-server添加了网络设备模板导致boot.log占满根目录不能ssh登陆： https://mp.weixin.qq.com/s/NJNObVpl5gDRfP_wBkUG7Q

zabbix-server添加了网络设备模板导致boot.log占满根目录不能ssh登陆相关推荐

zabbix的boot.log占满根目录不能ssh连接No space left on device
今天上午准备登陆下测试环境的zabbix-server服务器查个东西,发现ssh连接不上,报"No space left on device". 1[C:\~]$ ssh 172. ...
“zabbix server is not running: the information displayed may not be current”的一种可能原因
不知从什么时候开始,之前搭建的zabbix系统前端页面开始显示"zabbix server is not running: the information displayed may not ...
nginx下载限速，解决下载并发量大导致带宽占满
nginx下载限速,解决下载并发量大导致带宽占满原因:文件服务和业务服务在同一台机器上,下载病区视频导致带宽被占满(97M/100M) 解决方式:现在单个请求的带宽修改nginx配置文件nginx ...
Zabbix监控网络设备模板配置
一.SNMP简介设备支持简单网络管理协议(Simple Network Management Protocol),简称为SNMP.SNMP是应用层协议,它通过标准框架.公共语言和相对应的安全机制来监 ...
zabbix添加监控主机/监控模板/聚合图形/触发器
文章目录 zabbix添加监控主机 zabbix监控模板配置 zabbix聚合图形配置 zabbix触发器配置 zabbix中文名称报错/图形乱码问题处理 1.中文名称报错 2.zabbix图形乱码 ...
curl 安装_记一次因curl版本过低导致zabbix server不停重启问题及解决方法
概述今天主要分享一次在配置邮件的时候碰到zabbix server不停重启问题及解决思路. 报错日志思路: Crash occurs in alerter process when sending ...
zabbix Server 4.0 监控TCP的12种状态
zabbix Server 4.0 监控TCP的12种状态作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 大家对TCP三次握手比较熟悉了,都知道当发生DOSS攻击时,客户端发送 ...
zabbix如何添加图表显示内容_自定义 Zabbix 监控指标及图表
问题描述有时候 Zabbix 监控系统的模版提供的监控指标并不能满足我们的需求,比如我们要监控服务器的线程数.TCP 连接数等,这些指标在 Zabbix 自带的模板中是没有的,这时候我们就需要自定义 ...
19.7 主动模式和被动模式添加监控主机添加自定义模板处理图形
9月11日任务 19.7 主动模式和被动模式 19.8 添加监控主机 19.9 添加自定义模板 19.10 处理图形中的乱码 19.11 自动发现扩展 zabbix监控交换机(思科) http:// ...

zabbix-server添加了网络设备模板导致boot.log占满根目录不能ssh登陆

原因

解决办法

zabbix-server添加了网络设备模板导致boot.log占满根目录不能ssh登陆相关推荐

最新文章

热门文章