HEALTH_WARN 1 filesystem is degraded,一直在rejoin状态

问题：ceph多 mds机制下，重启mds有个cephfs出现degraded的状态，而且备份的mds一直在rejoin。
分析：

原因一：在某些mds备用不够的情况下，这个问题也可能会出现，应该是集群存储压力过大，osd有pg出现stuck的情况，一旦mds重启，元数据无法恢复，自然新备用的mds会一直是rejoin的状态。

原因二：看rejoin的mds日志发现

  2020-04-17 17:03:45.966 7f35f0cf3700  0 mds.beacon.shnode181 Skipping beacon heartbeat to monitors (last acked 37.75s ago); MDS internal heartbeat is not healthy!

此时经查阅资料问题出现在如下关键点：

The fix for this should be part of a broader fix to make the MDS only shrink its cache gradually (e.g. if the operator reduces mds_cache_memory_limit).

-原因三：

当cephfs 存储有大量数据的时候，多个主节点要同步状并进行数据交换，mds 节点有消息监测，默认设置的是15秒超时，如果15没有收到消息，就将节点踢出集群。默认的超时时间较短，会导致压力大，返回数据慢的节点异常，被反复踢出集群，刚被踢出集群，心跳又发现节点是活着的，又会将节点加入集群，加入集群后一会又被踢出，如此反复。此时ceph集群会报“mds cluster is degraded”。服务日志报“heartbeat_map is_healthy 'MDSRank' had timed out after 15”

natilus新版本这个问题比较突出，之前在luminous版本里并不会出现这个问题，standby的mds始终在rejoin状态

解决：
针对原因一：

此次情况比较特殊，ceph health detail命令竟然看不到stuck的osd，解决如下：

把使用率比较高的osd降权重，手动触发osd的数据迁移。
重新ceph health detail命令，此时会发现stuck的osd，重启相应的osd，mds状态恢复。

针对原因二（收效甚微）：

调小mds mds_cache_memory_limit到40G 以下
# ceph tell mds.\* injectargs '--mds_cache_memory_limit=40000000000
在/etc/ceph/ceph.conf修改，传到所有ceph节点

针对原因三（主要原因）：

方法一 mds多活热备调低敏感度，有两个操作：
- 调高mds_beacon_grace=300，调高超时时间。
```
  写到/etc/ceph/ceph.conf里，传到所有mds节点，然后重启mds
```
- mds采用热备模式，替换原来冷备模式，加快mds加入速度。
```
  ceph fs set <fs name> allow_standby_replay true
```
方法二 mds多活热备静态目录方法，即给目录划分不同的mds

命令：
setfattr -n ceph.dir.pin -v 2 path/to/dir
mkdir -p a/b
# “a” and “a/b” both start without an export pin set
setfattr -n ceph.dir.pin -v 1 a/
# a and b are now pinned to rank 1
setfattr -n ceph.dir.pin -v 0 a/b
# a/b is now pinned to rank 0 and a/ and the rest of its children are still pinned to rank 1

HEALTH_WARN 1 filesystem is degraded,一直在rejoin状态相关推荐

Ceph分布式存储(架构配置与使用原理性能调优)
Ceph分布式存储 Ceph分布式存储 1. Ceph概述 1.1 背景 1.2 介绍 1.3 特点 1.4 分布式存储系统横纵对比 2. Ceph架构设计 2.1 Ceph整体设计 2.2 逻辑架构 ...
HEALTH_WARN mds 0 is laggy的解决方法
当你的ceph集群状态遇到如下状态时, $ ceph -s cluster 3a4399c0-2458-475f-89be-ff961fbac537 health HEALTH_WA ...
CentOS 7安装megacli
RAID 几种常见的类型安装的megacli,之前先查看系统硬盘个数和RAID级别 [root@localhost Linux]# cat /proc/scsi/scsi Attached devi ...
分布式开源存储架构Ceph概述
文章目录概述什么是ceph? ceph的架构 Ceph OSD Ceph Monitor OSD Map PG Map CRUSH算法 Ceph的文件存储 Ceph的MDS ceph的不足 Cep ...
Ceph中一些PG相关的状态说明和基本概念说明、故障模拟
Ceph中一些PG相关的状态说明和基本概念说明最近公司有个Ceph集群出了点问题,于是也参与了修复的过程,过程中最让人头疼的就是一堆不明所以的状态了,所以看了看文档,也找了一些参考, 整理了一下Ce ...
【ceph】Ceph之PG状态详解--研读笔记
原文:分布式存储Ceph之PG状态详解 - 简书 Ceph中一些PG相关的状态说明和基本概念说明.故障模拟_pansaky的博客-CSDN博客 1. PG介绍继上次分享的<Ceph介绍及原理架 ...
ceph存储 ceph整体学习记录(未整理较乱)
转载:https://www.iyunv.com/thread-126458-1-4.html ceph源码下载: http://ceph.com/download/ 主要文档下载连接: http:/ ...
ceph学习笔记和基础知识
ceph源码下载: http://ceph.com/download/ 主要文档下载连接: http://download.csdn.net/detail/skdkjxy/8149989 /***** ...
Ceph入门到精通-Ceph PG状态详细介绍（全）
本文主要介绍PG的各个状态,以及ceph故障过程中PG状态的转变. Placement Group States(PG状态) creating Ceph is still creating the p ...
Flink 状态管理
1.MemoryStateBackend(Default) • 内存级的状态后端,会将键控状态作为内存中的对象进⾏管理,将它们存储在 TaskManager 的 JVM 堆上,⽽将 checkpoin ...

HEALTH_WARN 1 filesystem is degraded,一直在rejoin状态

HEALTH_WARN 1 filesystem is degraded,一直在rejoin状态相关推荐

最新文章

热门文章