Ceph日志分区占满及调试过程

经过：

Lotus在运行过程中报错，查看集群状态 ceph -s 后 timeout
Ceph集群日志文件的默认目录在 /var/log/ceph
Ceph的日志文件默认排序方法举例说明如下：

ceph-mon.u0205.log
ceph-mon.u0205.log.1
ceph-mon.u0205.log.2.gz
ceph-mon.u0205.log.3.gz

ceph-mon.u0205.log 是当前正在swap交换分区中编辑的日志，其余日志号码按升序排列，即 ceph-mon.u0205.log.1 是当前最新的日志。查看以往文档需要解包，解压.gz文档的命令如下：

gzip -d ceph-mon.u0205.log.3.gz

查看每个最新的日志后，发现问题如下：

$ tail -n 50 ceph.log.1cluster [WRN] Health check failed: mon u0205 is low on available space (MON_DISK_LOW)

$ tail -n 50 ceph-mds.u0205.log.1mds.beacon.u0205 is_laggy 16.1128 > 15 since last acked beaconmds.0.1301 skipping upkeep work because connection to Monitors appears laggymds.beacon.u0205 initiating monitor reconnect; maybe we're not the slow one

$ tail -n 50 ceph-mon.u0205.log.1mon.u0205@0(leader).mds e1306 tick: resetting beacon timeouts due to mon delay (slow election?) of 20.0313s secondslog_channel(cluster) log [ERR] : Health check failed: mon u0205 is very low on available space (MON_DISK_CRIT)log_channel(cluster) log [INF] : Health check cleared: MON_DISK_LOW (was: mon u0205 is low on available space)Waiting after background flush error: IO error: No space left on deviceWhile appending to file: /var/lib/ceph/mon/ceph-u0205/store.db/003616.sst: No space left on deviceAccumulated background error counts: 1

从日志中发现如下两个问题：
1、/var/lib/ceph 中容量不足。
2、与 mon 节点的连接缓慢。

问题1解决方法
1、给 /var 分区预留足够的容量。
2、更改日志的输出文件上限（加速更迭）。
重要：详尽的日志每小时可能超过 1GB ，如果你的系统盘满了，这个节点就会停止工作。
加速日志更迭
可以修改 /etc/logrotate.d/ceph 内的日志更迭选项来加快更迭。在更迭频率后增加一个日志 size 选项（达到此大小就更迭）来加快更迭（通过 cronjob ）：
增加一个 size 选项。

    rotate 7weeklysize 500Mcompresssharedscripts

然后，打开 crontab 编辑器。

    crontab -e

最后，增加一条用以检查 /etc/logrorate.d/ceph 文件的语句，每 30 分钟检查一次 /etc/logrorate.d/ceph 文件。

 30 * * * * /usr/sbin/logrotate /etc/logrotate.d/ceph >/dev/null 2>&1

参考：
Ceph 进阶系列（一）：Ceph日志和调试
Ceph官方文档

Ceph日志分区占满及调试过程相关推荐

ORA-00257: archiver error. Connect internal only, until freed解决（适用于非归档日志空间占满造成该报错的场景）
场景还原数据库一个汇总任务中,使用了DBLINK跨库查询几个表,平时跑的很顺溜,突然有一天报错:ORA-00257: archiver error. Connect internal only, u ...
Linux查看目录占用磁盘block,linux系统磁盘block、inode占满处理
磁盘占满分两种情况,然后分别执行下面两个命令,看看自己属于哪种情况磁盘block占满,查看命令: df -vh 磁盘inode 占满,查看命令: df -ih 一.block占满处理办法需要用 ...
SQL Server-聚焦事务对本地变量、临时表、表变量影响以及日志文件存满时如何收缩（三十一）...
前言接下来我们将SQL Server基础系列还剩下最后几节内容结束,后续再来讲解SQL Server性能调优,我们开始进入主题. SQL Server事务对本地变量影响事务对变量影响具体是指什么意 ...
linux系统磁盘block、inode占满处理
1.磁盘的block占满,查看命令 df -vh 然后查看占用百分比 2.磁盘inode占满,查看命令df -ih 同样也是查看占用百分比 block占满处理办法需要用到的命令如下: LL 列出当前 ...
oracle 导库时日志满了,oracle rac 11g 日志占满系统盘导致数据库down掉
oracle日志占满系统盘满了导致数据库挂掉并且archivelog日志也满了倒是数据库无法open,无法登陆,幸好还可以到mount状态.解决办法: 1.根据报错查看表象: crs 服务down ...
linux 日志文件被占用下不来怎么办,linux 磁盘空间被占满但找不到目标文件的问题处理 lsof命令...
lsof简介在终端下输入lsof即可显示系统打开的文件,因为 lsof 需要访问核心内存和各种文件,所以必须以 root 用户的身份运行它才能够充分地发挥其功能. 直接输入lsof部分输出为: 每行 ...
oracle扩展归档空间大小,解决Oracle数据库归档日志占满磁盘空间问题
1.常用命令 show parameter log_archive_dest; sql> archive log list; sql> select * from V$FLASH_RECO ...
inode占满前因后果
2019独角兽企业重金招聘Python工程师标准>>> 0. 问题描述现象收到钉钉报警,线上Solr服务器/var分区inode占满. 影响 /var分区无法再创建新文件. in ...
关于Linux服务器磁盘空间占满问题的解决方法
下面给大家分享一篇关于Linux服务器磁盘占满问题解决方法(/dev/sda3 满了),需要的的朋友参考下吧下面我们一起来看一篇关于Linux服务器磁盘占满问题解决(/dev/sda3 满了),希望 ...

Ceph日志分区占满及调试过程

经过：

Ceph日志分区占满及调试过程相关推荐

最新文章

热门文章