使用ceph-deploycep集群部署，并用3个磁盘作为专用osd

一、使用ceph-deploy安装一个最少三个节点的ceph集群使用3个或以上的磁盘作为专用osd

一、安装前准备

1、关闭防火墙、禁用SELinux。

都做
# 关闭防火墙
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld# 禁用SELinux
[root@localhost ~]# sed -i '/^SELINUX=/c SELINUX=disabled' /etc/selinux/config
[root@localhost ~]# setenforce 0

2、配置主机名和IP及hosts解析。

都做
# 分别为每台机器设置IP地址，配置主机名
[root@localhost ~]# hostnamectl set-hostname node1# 为所有机器配置hosts解析
[root@node1 ~]# tail -4 /etc/hosts
192.168.235.156 node1
192.168.235.154 node2
192.168.235.157 node3
192.168.235.151 client

3、配置node1到所有节点root用户免密钥互信。

node1做
# node1上生成密钥对
[root@node1 ~]# ssh-keygen -f ~/.ssh/id_rsa -N '' -q# 公钥分发到所有节点
[root@node1 ~]# for i in node1 node2 node3 client; do ssh-copy-id $i; done# 验证免密钥互信
[root@node1 ~]# for i in node1 node2 node3 client; do ssh $i hostname; done
node1
node2
node3
client

4、配置时间同步。

都做
[root@node1 ~]# yum install chrony -y
# 修改配置文件 /etc/chrony.conf
server ntp.aliyun.com iburst# 启动chrony服务并设置开机自启动
[root@node1 ~]# systemctl restart chronyd
[root@node1 ~]# systemctl enable chronyd --now# 检查时间同步
[root@node2 ~]# chronyc sources
210 Number of sources = 1
MS Name/IP address         Stratum Poll Reach LastRx Last sample
===============================================================================
^* 120.25.115.20                 2   7   123    76   +588us[+1321us] +/-   19ms

5、node1配置为yum仓库服务器，其他节点使用ftp方式使用ceph仓库

# 上传ceph.iso到node1
[root@node1 ~]# ll ceph.iso
-rw-r--r-- 1 root root 2408808448 Mar 18 09:15 ceph.iso
在node1里安装
# 安装httpd并设置为开机自启动
[root@node1 ~]# yum install -y vsftpd
[root@node1 ~]# systemctl enable vsftpd --now# 挂载ceph.iso到/var/ftp
[root@node1 ~]# mkdir /var/ftp/ceph
[root@node1 ~]# echo "/root/ceph.iso  /var/ftp/ceph  iso9660 defaults 0 0" >> /etc/fstab
[root@node1 ~]# mount -a# yum文件ceph.repo由后面的ceph-deploy工具安装时自动生成。

二、部署ceph集群

一、安装ceph-deploy

[root@node1 ~]# export CEPH_DEPLOY_REPO_URL=ftp://node1/ceph/

1、在node1上安装部署工具

[root@node1 ceph-cluster]# yum install /var/ftp/ceph/noarch/ceph-deploy-2.0.1-0.noarch.rpm

2、node1上创建工作目录

[root@node1 ~]# mkdir /ceph-cluster
[root@node1 ~]# cd /ceph-cluster

二、创建ceph集群，在/ceph-cluster目录下生成配置文件。

1、创建ceph集群，并设置mon节点。

node1-node3添加epel源

wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
[root@node1 ceph-cluster]# yum install python2-pip -y
[root@node1 ceph-cluster]# pip install distribute -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com

node1里做
[root@node1 ceph-cluster]# ceph-deploy new node1 node2 node3
#给所有节点安装ceph相关软件包。
[root@node1 ceph-cluster]# ceph-deploy install node1 node2 node3
#初始化所有节点的mon服务，也就是启动mon服务。
[root@node1 ceph-cluster]# ceph-deploy mon create-initial[root@node3 ~]# ls /etc/ceph/
ceph.conf  rbdmap  tmpn1zEAD
[root@node3 ~]# systemctl is-active ceph-mon@node3.service
active创建ceph管理节点（mgr）
[root@node1 ceph-cluster]# ceph-deploy mgr create node1 node2 node3

三、准备日志磁盘分区

注意：sdb1和sdb2两个分区用来做存储服务器的journal缓存盘。生产中固态用于缓存，sas用户共享。

1、格式化sdb

[root@node1 ceph-cluster]# for i in node{1..3}
dossh $i parted /dev/sdb mklabel gptssh $i parted /dev/sdb mkpart primary 1 50%ssh $i parted /dev/sdb mkpart primart 50% 100%
done

2、磁盘分区后的默认权限无法让ceph对其进行读写操作，需要修改权限。

[root@node1 ceph-cluster]# for i in node{1..3}
dossh $i chown ceph.ceph /dev/sdb1 /dev/sdb2
done[root@node1 ceph-cluster]# vim /etc/udev/rules.d/70-sdb.rules
ENV{DEVNAME}=="/dev/sdb1",OWNER="ceph",GROUP="ceph"
ENV{DEVNAME}=="/dev/sdb2",OWNER="ceph",GROUP="ceph"# 复制到其他osd节点
[root@node1 ceph-cluster]# for i in node{2..3}
doscp /etc/udev/rules.d/70-sdb.rules $i:/etc/udev/rules.d/
done

四、创建OSD存储空间

1、初始化清空磁盘数据（仅在node1操作）

[root@node1 ceph-cluster]# for i in node{1..3}
dossh $i parted /dev/sdc mklabel gptssh $i parted /dev/sdd mklabel gpt
done#清理磁盘
[root@node1 ceph-cluster]# for i in node{1..3}
do ssh $i ceph-volume lvm zap /dev/sdcssh $i ceph-volume lvm zap /dev/sdd
done

2、创建OSD存储空间

[root@node1 ceph-cluster]# ceph-deploy osd create --data /dev/sdc --journal /dev/sdb1 --data /dev/sdd --journal /dev/sdb2 node1
// 创建osd存储设备，sdc提供存储空间，sdb1提供缓存
[root@node1 ceph-cluster]# ceph-deploy osd create --data /dev/sdc --journal /dev/sdb1 --data /dev/sdd --journal /dev/sdb2 node2
[root@node1 ceph-cluster]# ceph-deploy osd create --data /dev/sdc --journal /dev/sdb1 --data /dev/sdd --journal /dev/sdb2 node3

五、查看ceph状态，验证

[root@node1 ceph-cluster]# ceph-deploy admin node1 node2 node3

检查集群状态：

[root@node1 ceph-cluster]# ceph health
HEALTH_OK[root@node1 ceph-cluster]# ceph -scluster:id:     5dcfa8b4-b911-4fc4-9bcf-a7d6cb48bf4bhealth: HEALTH_OKservices:mon: 3 daemons, quorum node2,node1,node3 (age 3m)mgr: node1(active, since 2m), standbys: node2, node3osd: 3 osds: 3 up (since 44s), 3 in (since 44s)data:pools:   0 pools, 0 pgsobjects: 0 objects, 0 Busage:   3.0 GiB used, 27 GiB / 30 GiB availpgs:

六、启用dashboard

# 在所有的mgr节点上单独安装
[root@node1 ceph-cluster]# for i in node{1..3}
dossh $i yum install -y ceph-mgr-dashboard
done# 启用dashboard
[root@node1 ceph-cluster]# ceph mgr module enable dashboard --force# 默认启用SSL/TLS，所以需要创建自签名根证书
[root@node1 ceph-cluster]# ceph dashboard create-self-signed-cert# 创建具有管理员角色的用户
[root@node1 ceph-cluster]# ceph dashboard ac-user-create admin admin administrator
{"username": "admin", "lastUpdate": 1658839576, "name": null, "roles": ["administrator"], "password": "$2b$12$/fUwpr/vlP4NC2fgt12NPu3kjUD/Zk0jqqc69QTEJBIA4tXvTUfB6", "email": null}# 查看ceph-mgr服务
[root@node1 ceph-cluster]# ceph mgr services
{"dashboard": "https://node1:8443/"
}

最后网页登录node1:8443网址

使用ceph-deploycep集群部署，并用3个磁盘作为专用osd相关推荐

ceph (cephadm)集群部署
ceph 集群部署(cephadm) 方法1: (ansible) ceph-ansible使用Ansible部署和管理Ceph集群. (1)ceph-ansible被广泛部署. (2)ceph-an ...
Ceph分布式集群部署
一.手动搭建Ceph分布式存储案例环境: 系统 IP地址主机名(登录用户) 承载角色 Centos 7.4 64Bit 1708 192.168.100.101 dlp
部署ceph分布式存储集群
部署ceph分布式存储集群本次ceph分布式存储集群部署基于centos7.4操作系统环境且服务器或PC硬件应具备4个硬盘. 1 安装CentOS 7.4操作系统 1.1 制作安装U盘 (1)安装U ...
Ceph v12.2 Luminous基于ubuntu16.04集群部署
第一次接触ceph集群,感谢官方的指导文档和许多网友提供的教程,糊糊涂涂算是把集群部署起来了.由于Luminous12.2刚发布不久,部署起来跟旧版本还是有些许差别,所以以此做下笔记也给需要的人做下参 ...
通过Charmed Ceph 在 H3C UniServer R4950 G5 服务器上部署独立的Ubuntu Ceph 存储集群
摘要本文档提供了一个独立Ceph集群的构架参考,部署及各种访问方法.本测试在4台H3C UniServer R4950 G5服务器上构建了一个独立的可扩展.可靠和容错的Ceph存储集群.可以同时对外 ...
centos7 ceph 集群部署
ceph 一种为优秀的性能.可靠性和可扩展性而设计的统一的.分布式文件系统一.Ceph必备组件 OSD(Object Storage Device) Ceph OSD守护进程(Ceph OSD)的功 ...
K8S集群部署kube-Prometheus监控Ceph（版本octopus）集群、并实现告警。
K8S集群部署kube-Prometheus监控Ceph(版本octopus)集群.并实现告警. 一.背景描述公司K8S集群后端存储采用的是cephfs,测试环境经常性出现存储故障,虽然最后都解决了 ...
「Ceph集群部署」多机离线部署
存储系统:ceph-14.2.22 操作系统:ubuntu-server-18.04 集群组织架构在ceph集群中,安装了ceph软件的并且部署了一系列ceph集群服务的主机被称之为ceph集群节点 ...
centos 6.4 ceph 分布式集群文件系统部署手记
Centos 6.4 ceph 分布式集群文件系统部署 0, 部署环境 IP ADDR HOSTNAME rule 192.168.1.120 master- ...
Openstack云平台脚本部署之Ceph存储集群配置（十四）
目录一.简介二.部署脚本三.参考文档四.源码五.系列文章一.简介 Openstack的后端存储对接Ceph分布式统一存储,将Glance镜像.Nova虚拟机及快照.Cinder-Volum ...

使用ceph-deploycep集群部署，并用3个磁盘作为专用osd

一、使用ceph-deploy安装一个最少三个节点的ceph集群使用3个或以上的磁盘作为专用osd

一、安装前准备

二、部署ceph集群

使用ceph-deploycep集群部署，并用3个磁盘作为专用osd相关推荐

最新文章

热门文章

使用ceph-deploycep集群部署，并用3个磁盘作为专用osd

一、使用ceph-deploy安装一个最少三个节点的ceph集群 使用3个或以上的磁盘作为专用osd

一、安装前准备

二、部署ceph集群

使用ceph-deploycep集群部署，并用3个磁盘作为专用osd相关推荐

最新文章

热门文章

一、使用ceph-deploy安装一个最少三个节点的ceph集群使用3个或以上的磁盘作为专用osd