ceph osd 相关命令

混合osd的部署

先部署所有的ssd

在/etc/ceph.conf中最后添加ssd做osd的block大小如下：

比如部署中有两个ssd，则添加

[osd.0]

bluestore_block_size = xxxx

[osd.1]

bluestore_block_size = xxx

如上的size大小计算如下，如ssd容量为800G，默认分给hdd的db,wal分别为20G,10G，则：
bluestore_block_size = (800 - 120 - 800*2%) * 1024*1024*1024

ssd的分区划分

sgdisk -n 1:+2G:+sizeG /dev/sdb //该size为以上(800 - 120）的容量
sgdisk -n 2:0:+20G /dev/sdb #db
sgdisk -n 4:0:+10G /dev/sdb #wal

修改分区权限

for i in {1..3};do chmod 660 /dev/sdb$i;chown ceph:ceph /dev/sdb$i;done

激活第一个sdd

ceph-disk -v prepare /dev/sdb1
ceph-disk -v activate /dev/sdb1

部署hdd

将db,wal分区放置在ssd上

ceph-disk -v prepare /dev/sdc --block.db /dev/sdb2 --block.wal /dev/sdb4
ceph-disk -v activate /dev/sdc1

手动划分分区需要修改udev规则，来让设备重启或者插拔盘触发udev规则之后让分区的typecode产生修改并且修改设备用户所属为ceph以及设备文件权限，防止重启后查找不到udev规则，从而使用默认uuid来分配设备文件的属性导致重启之后osd无法起来。此时需要手动更改如下：

只针对SSD

sgdisk --typecode=1:4fbd7e29-9d25-41b8-afd0-062c0ceff05d -- /dev/sdbblock分区

sgdisk --typecode=2:30cd0809-c2b2-499c-8879-2d6b78529876 -- /dev/sdbdb分

sgdisk --typecode=4:5ce17fce-4087-4169-b7ff-056cc58473f9 -- /dev/sdbwal分区

查看指定磁盘udev相关的uuid

blkid -o udev -p /dev/sdc1

普通OSD的部署

创建rule规则并修改osd 的type

ceph osd crush rule create-simple rule_rep deafult osd

ceph osd pool create rep_pool 128 128 rule_rep
移除规则下的osd

ceph osd crush rm osd.id
从某个节点上移除osd

ceph osd crush rm osd.id $node

设置size 和min_size

ceph osd pool set pool_name size xx
ceph osd pool set pool_name min_size xx

当OSD被踢出集群但是挂载点还在，为osd添加id验证

加回认证
ceph auth add osd.12 osd 'allow *' mon 'allow rwx' mgr 'allow profile osd' -i /var/lib/ceph/osd/ceph-12/keyring
添加到host中，如果两个host都有的话需要添加两次

ceph osd crush add osd.15 3.61327 root=hdd_bucket host=host6
设置osd设备属性

ceph osd crush set-device-class ssd osd.${num}

测试OSD压力

ceph tell osd.id bench

Mark osd 为down

ceph -m $mon:6789 osd down$id

OSD重构速度

ceph tell osd.* injectargs '--osd_recovery_sleep=2'

ceph osd 相关命令相关推荐

ceph pool 相关命令
文章目录 Pool创建 ec pool创建副本pool创建 Pool参数创建根故障域及添加osd 其他命令 Tier相关 Pool创建 ec pool创建创建profile ceph osd e ...
ceph操作相关命令整合
ceph基本操作: /etc/init.d/ceph -a start/stop //即在所有节点上执行单个操作: start/stop ceph-osd id={id} start/stop ce ...
Ceph OSD操作命令详解
(一) ceph-deploy osd create ceph134:sdb 2018-01-10 12:30 2018-01-10 12:30 1 转载于:https://www.cnblogs.c ...
【ceph】ceph osd blacklist cep黑名单|MDS问题分析
目录 blacklist 是什么 blacklist相关操作 Ceph MDS问题分析 CephFS client evict子命令使用概述命令格式 1. 查看所有client/session 2 ...
ceph常用命令-pool相关命令
2019独角兽企业重金招聘Python工程师标准>>> 1.1 查询系统中所有的pool 命令格式: ceph osd lspools 或rados lspools 1.2 ...
ceph常用命令及其使用、ceph集群定位常用命令说明【如ceph osd set norebalance】、ceph官方文档查询地址
文章目录 ceph集群的监控查看OSD版本检查集群的健康情况监控集群的时间查看集群的空间利用率查看集群的状态查看集群的实时状态获取秘钥列表查看ceph特征查看osd存储引擎获得所有 ...
【ceph】ceph OSD状态及常用命令
OSD进程的启动停止:https://blog.csdn.net/bandaoyu/article/details/119894927 1. OSD概念 OSD:Object Storage Devi ...
linux 硬盘、RAID相关命令详解
本文主要介绍linux下查看各种硬盘信息的命令如何使用,如何快速的查到自己想要的硬盘相关信息,各种命令做一个汇总. Nvme-cli Q1:如何查看nvme写缓存打开否: [root@node83 p ...
ceph运维命令合集
一.集群 1.启动一个ceph进程启动mon进程 [root@ceph-adm ~]#203.109 service ceph start mon.ceph-mon1 启动msd进程 [root@c ...