前言：CEPH是一个开源的项目，它是软件定义的、同一的存储解决方案。CEPH是一个可大规模扩展、高性能并且无单点故障的分布式存储系统。从一开始它就运行在通用的商用的硬件上，具有高度的可伸缩性，容量可扩展至EB界别，甚至更大

文章目录

  • 一、概述
    • 1.简述
      • 1）相关名词解释
    • 2. CEPH基础架构
    • 3. CEPH基础组件
    • 4. Ceph Clients
    • 5.CEPH存储过程
  • 二、实验
    • 1.环境介绍
    • 2.环境部署
      • 1）主机名，网卡配置及hosts文件
      • 2）优化
      • 3）免交互
      • 4）YUM源配置
      • 5）NTP服务配置
    • 3.CEPH群集搭建
      • 1）创建群集
      • 2）创建osd
      • 3）节点扩容
      • 4）OSD数据恢复
    • 4.CEPH常规的维护命令
      • 1）创建mgr服务
      • 2）创建pool
      • 3）删除pool
      • 4）修改pool名字
      • 5）查看ceph命令
      • 6）配置ceph内部通信网段

一、概述

1.简述

  • ceph 是一种开源存储软件。底层实现了对象存储，并以此为基础对外提供对象存储接口、块存储接口、文件级存储接口
  • CEPH版本：Nautilus
  • 官方架构图：

1）相关名词解释

  • RADOS：Reliable Autonomic Distributed Object Store（可靠的，自主的，分布式的对象存储）
  • 在 ceph 中这个名词经常出现，有时会以 R 表示 RADOS。实际上这个词仅仅是对 ceph 的一个修饰词，并不代表 ceph 的组件什么的。粗暴的认为， RADOS = ceph 对象存储集群 即可
  • RGW、RBD、CEPH FS： 这三个就是 ceph clients
    • RGW：对象存储网关，也就是对象存储接口
    • RBD：块设备，也就是块存储接口
    • CEPH FS：ceph 文件系统，也就是文件级存储接口

2. CEPH基础架构

  • CEPH组件主要分分为两部分：

    • Ceph Node:构成Ceph集群的基础组件
    • Ceph Client:对外提供多种方式使用Ceph存储的组件

3. CEPH基础组件

  • 此部分介绍构成Ceph集群的基础组件，其中包含OSD、Manager、MSD、Monitor

    • OSD（ceph-osd）：object storage daemon，对象存储进程。ceph 管理物理硬盘时，引入了OSD概念，每一块盘都会针对的运行一个OSD进程。换句话说，ceph 集群通过管理 OSD 来管理物理硬盘。OSD 一般功能为：存储数据、维护数据副本、数据恢复、数据再平衡以及对ceph monitor组件提供相关监控信息
    • Manager（ceph-mgr）：用于收集ceph集群状态、运行指标，比如存储利用率、当前性能指标和系统负载。对外提供 ceph dashboard（ceph ui）和 resetful api。Manager组件开启高可用时，至少2个
    • MDS（ceph-mds）：Metadata server，元数据服务。为ceph 文件系统提供元数据服务（ceph 对象存储和块存储不需要MDS）。为 posix 文件系统用户提供性能良好的基础命令（ls，find等）
    • Monitor（ceph-mon）：维护集群的状态，包含monitor组件信息，manger 组件信息，osd组件信息，mds组件信息，crush 算法信息。还负责ceph集群的身份验证功能，client在连接ceph集群时通过此组件进行验证。Monitor组件开启高可用时，至少3个

4. Ceph Clients

  • 此部分介绍 ceph 对外提供各种功能的组件。其中包含：Block Device、Object Storage、Filesystem

    • Block Device：块存储设备，RBD
    • Object Storage： 对象存储，RGW。对外可提供 swift 、s3 接口类型restful api
    • Filesystem：文件系统，CephFS。提供一个兼容POSIX的文件系统

5.CEPH存储过程

  • 前面介绍Ceph的一些组件及对外提供的功能，这部分主要介绍Ceph的逻辑存储，这部分主要介绍Ceph的存储逻辑。在对象存储中，一切都是扁平化的，并且存储的最小单元为对象（OBJ）
  • ceph 在对象存储的基础上提供了更加高级的思想。当对象数量达到了百万级以上，原生的对象存储在索引对象时消耗的性能非常大。ceph因此引入了 placement group （pg）的概念。一个PG就是一组对象的集合
  • obj和pg之间的映射由ceph client计算得出
  • 讨论 pg 时，不得不提的另外一个名词：pgp。pgp决定了pg和osd 之间的映射关系。一般将 pgp_num 设置成和 pg_num 一样大小。这里还有一个名词需要提一下，在ceph中会经常见到crush算法。简单来说，crush 算法就是指 ceph 中数据如何存储、读取的过程。由于ceph集群面对许多的独立项目，因此ceph还引入了ceph pool的概念用于划分不同的项目
  • ceph pool 是对 ceph 对象的逻辑划分，并不是物理划分
  • pg和ceph pool的区别：
    • pg对于用户来说是透明的，只是底层的一种优化方案
    • ceph pool对于用户来说，就像mysql中的database
  • 像大多数集群软件一样，ceph 也提供了缓存的概念。称之为 Cache Tier（缓存层，在具体使用时有时会称之为缓存池）。缓存池对用户来说是透明的，因此不会改变用户的原有使用逻辑
  • 在没有缓存池时，ceph client 直接指向存储池。在添加缓存池后，ceph client 指向缓存池，缓存池再指向存储池

二、实验

1.环境介绍

  • 实验软件：VMware软件
  • 系统配置：
  • 分配：

2.环境部署

1）主机名，网卡配置及hosts文件

  • 三个节点配置主机名
[root@localhost ~]# hostnamectl set-hostname ceph01
[root@localhost ~]# hostnamectl set-hostname ceph02
[root@localhost ~]# hostnamectl set-hostname ceph03
  • 三个节点配置网卡，过程很简单，就不再解释
[root@ceph01 ~]# ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500inet 192.168.9.128  netmask 255.255.255.0  broadcast 192.168.9.255
ens36: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500inet 192.168.124.130  netmask 255.255.255.0  broadcast 192.168.124.255[root@ceph02 ~]# ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500inet 192.168.9.133  netmask 255.255.255.0  broadcast 192.168.9.255
ens36: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500inet 192.168.124.131  netmask 255.255.255.0  broadcast 192.168.124.255[root@ceph03 ~]# ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500inet 192.168.9.133  netmask 255.255.255.0  broadcast 192.168.9.255
ens36: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500inet 192.168.124.131  netmask 255.255.255.0  broadcast 192.168.124.255
  • 三个节点配置hosts文件
[root@ceph01 ~]# vi /etc/hosts
192.168.124.130 ceph01
192.168.124.131 ceph02
192.168.124.133 ceph03
//其他两个节点配置一样

2）优化

  • 三个节点关闭防火墙与核心防护，这里仅展示ceph01的操作
[root@ceph01 ~]# systemctl stop firewalld.service
[root@ceph01 ~]# systemctl disable firewalld.service
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@ceph01 ~]# setenforce 0
[root@ceph01 ~]# vi /etc/selinux/config
SELINUX=disabled

3）免交互

  • 三个节点创建免交互，配置一样，仅展示ceph01操作
[root@ceph01 ~]# ssh-keygen    //生成密钥对，一直回车即可
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:nFxzejhiyTSleK7xl8Xe/uBAEE5O86pJSIRwosWPh4I root@ceph03
The key's randomart image is:
+---[RSA 2048]----+
| .+....   *      |
| o.o.. . B +     |
|o  +  o = * o    |
|E o o. O = O     |
| . .  o S = =    |
|       * + B .   |
|      . + o o o  |
|         .   + . |
|              o..|
+----[SHA256]-----+[root@ceph01 ~]# ssh-copy-id root@ceph01
/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/root/.ssh/id_rsa.pub"
The authenticity of host 'ceph01 (192.168.124.130)' can't be established.
ECDSA key fingerprint is SHA256:lkgQj7t5I4b1dE9wSNQ1Wr842aOvd+uf+gp0wi17/xY.
ECDSA key fingerprint is MD5:e4:9b:7a:56:c8:ef:5c:64:7e:fb:c9:95:62:3f:e7:d1.
Are you sure you want to continue connecting (yes/no)? yes    //输入yes
/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys
root@ceph01's password:     //输入密码Number of key(s) added: 1Now try logging into the machine, with:   "ssh 'root@ceph01'"
and check to make sure that only the key(s) you wanted were added.
[root@ceph01 ~]# ssh-copy-id root@ceph02
[root@ceph01 ~]# ssh-copy-id root@ceph03
。。。省略部分内容

4）YUM源配置

  • 三个节点开启缓存，安装环境包
[root@ceph01 ~]# vi /etc/yum.conf
keepcache=1      //开启缓存
[root@ceph01 ~]# yum  install wget  curl vim net-tools  bash-completion   -y
//其他两个节点一样
  • 三个配置YUM源，配置一样，仅展示ceph01操作
[root@ceph01 ~]# cd /etc/yum.repos.d/
[root@ceph01 yum.repos.d]# ls
CentOS-Base.repo  CentOS-Debuginfo.repo  CentOS-Media.repo    CentOS-Vault.repo
CentOS-CR.repo    CentOS-fasttrack.repo  CentOS-Sources.repo
[root@ceph01 yum.repos.d]# mkdir bak
[root@ceph01 yum.repos.d]# mv C* bak
[root@ceph01 yum.repos.d]# ls
bak
[root@ceph01 yum.repos.d]# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo   //下载基础源
[root@ceph01 yum.repos.d]# wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo    //下载epel源
[root@ceph01 yum.repos.d]# vi local.repo   //配置本地源
[ceph]
name=Ceph packages for
baseurl=https://mirrors.aliyun.com/ceph/rpm-mimic/el7/$basearch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1[ceph-noarch]
name=Ceph noarch packages
baseurl=https://mirrors.aliyun.com/ceph/rpm-mimic/el7/noarch/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1[ceph-source]
name=Ceph source packages
baseurl=https://mirrors.aliyun.com/ceph/rpm-mimic/el7/SRPMS/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1
[root@ceph01 yum.repos.d]# yum update -y  //更新

5）NTP服务配置

  • CEPH01配置NTP服务即可，其他服务器与CEPH01节点同步
[root@ceph01 yum.repos.d]# yum install ntpdate ntp -y    //aliyun现网源自带，可以不用安装
[root@ceph01 yum.repos.d]# ntpdate ntp1.aliyun.com   //同步aliyun时间
30 Mar 22:11:07 ntpdate[103922]: adjust time server 120.25.115.20 offset 0.012028 sec
[root@ceph01 yum.repos.d]# clock -w                //把当前系统时间写入到CMOS中
[root@ceph01 yum.repos.d]# vi /etc/ntp.conf ##第8行改为 restrict default nomodify ##第17行改为 restrict 192.168.100.0 mask 255.255.255.0 nomodify notrap##将21行到24行删除##21 server 0.centos.pool.ntp.org iburst22 server 1.centos.pool.ntp.org iburst23 server 2.centos.pool.ntp.org iburst24 server 3.centos.pool.ntp.org iburst
###删除的插入下面内容###
fudge 127.127.1.0 stratum 10
server 127.127.1.0
[root@ceph01 yum.repos.d]# systemctl start ntpd    //开启服务
[root@ceph01 yum.repos.d]# systemctl enable ntpd    //开启自启动
Created symlink from /etc/systemd/system/multi-user.target.wants/ntpd.service to /usr/lib/systemd/system/ntpd.service.//ceph02，ceph03同步ceoh01，并建立周期性计划
[root@ceph02 yum.repos.d]# ntpdate ceph01
30 Mar 22:57:58 ntpdate[105916]: adjust time server 192.168.124.130 offset 0.023610 sec
[root@ceph02 yum.repos.d]# crontab -e
*/2 * * * * /usr/bin/ntpdate 192.168.124.130 >> /var/log/ntpdate.log
[root@ceph02 yum.repos.d]# systemctl restart crond
[root@ceph02 yum.repos.d]# crontab -l
*/2 * * * * /usr/bin/ntpdate 192.168.124.130 >> /var/log/ntpdate.log[root@ceph03 yum.repos.d]# ntpdate ceph01
30 Mar 22:58:55 ntpdate[27637]: adjust time server 192.168.124.130 offset 0.005745 sec
[root@ceph03 yum.repos.d]# systemctl restart crond
[root@ceph03 yum.repos.d]# crontab -l
*/2 * * * * /usr/bin/ntpdate 192.168.124.130 >> /var/log/ntpdate.log

3.CEPH群集搭建

1）创建群集

  • 登录ceph01
[root@ceph01 yum.repos.d]# yum install python-setuptools ceph-deploy -y
//管理节点安装部署工具
  • 三个节点创建目录，用于保存ceph-deploy 生成的配置文件和密钥对。三个节点安装ceph
[root@ceph01 yum.repos.d]# mkdir /etc/ceph
[root@ceph01 yum.repos.d]# yum -y install ceph
  • 管理节点创建mon并初始化，收集秘钥
[root@ceph01 yum.repos.d]# cd /etc/ceph
[root@ceph01 ceph]# ceph-deploy new ceph01 ceph02    //在ceph01上创建群集
[root@ceph01 ceph]# ceph-deploy mon create-initial   //在ceph01上初始化mon 并收取密钥
[root@ceph01 ceph]# ceph -s    //查看群集状态cluster:id:     3ef8403a-1b42-4b95-b859-f8b01111440fhealth: HEALTH_OKservices:mon: 2 daemons, quorum ceph01,ceph02mgr: no daemons activeosd: 0 osds: 0 up, 0 indata:pools:   0 pools, 0 pgsobjects: 0  objects, 0 Busage:   0 B used, 0 B / 0 B availpgs:

2）创建osd

  • 登录ceph01
[root@ceph01 ceph]# ceph-deploy osd create --data /dev/sdb ceph01
[root@ceph01 ceph]# ceph-deploy osd create --data /dev/sdb ceph02
[root@ceph01 ceph]# ceph -scluster:id:     3ef8403a-1b42-4b95-b859-f8b01111440fhealth: HEALTH_WARNno active mgrservices:mon: 2 daemons, quorum ceph01,ceph02mgr: no daemons activeosd: 2 osds: 2 up, 2 in    //创建成功data:pools:   0 pools, 0 pgsobjects: 0  objects, 0 Busage:   0 B used, 0 B / 0 B availpgs:     [root@ceph01 ceph]# ceph osd tree    //查看osd目录树
ID CLASS WEIGHT  TYPE NAME       STATUS REWEIGHT PRI-AFF
-1       1.99799 root default
-3       0.99899     host ceph01                         0   hdd 0.99899         osd.0       up  1.00000 1.00000
-5       0.99899     host ceph02                         1   hdd 0.99899         osd.1       up  1.00000 1.00000
[root@ceph01 ceph]# ceph osd stat   //查看osd状态
2 osds: 2 up, 2 in; epoch: e9
  • 将配置文件和admin密钥下发到ceph01，ceph02并增加权限
[root@ceph01 ceph]# ceph-deploy admin ceph01 ceph02
[root@ceph01 ceph]# chmod +x /etc/ceph/ceph.client.admin.keyring
[root@ceph02 ceph]# chmod +x /etc/ceph/ceph.client.admin.keyring

3）节点扩容

  • 将ceph03 osd加入到群集中
[root@ceph01 ceph]# ceph-deploy osd create --data /dev/sdb ceph03
[root@ceph01 ceph]# ceph -scluster:id:     3ef8403a-1b42-4b95-b859-f8b01111440fhealth: HEALTH_WARNno active mgrservices:mon: 2 daemons, quorum ceph01,ceph02mgr: no daemons activeosd: 3 osds: 3 up, 3 in    //成功添加data:pools:   0 pools, 0 pgsobjects: 0  objects, 0 Busage:   0 B used, 0 B / 0 B availpgs:
  • 将ceph03 mon加入到群集中
[root@ceph01 ceph]# vi /etc/ceph/ceph.conf
[global]
fsid = 3ef8403a-1b42-4b95-b859-f8b01111440f
mon_initial_members = ceph01, ceph02,ceph03     //添加ceph03
mon_host = 192.168.124.130,192.168.124.131,192.168.124.132   //添加ceph03IP
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
public_network = 192.168.124.0/24    //添加内部通信网段
[root@ceph01 ceph]# ceph-deploy --overwrite-conf admin ceph03  //下发配置给ceph03
  • 在ceph03上修改下发的配置文件权限
[root@ceph03 ceph]# chmod +x /etc/ceph/ceph.client.admin.keyring
  • 重新下发秘钥和配置文件
[root@ceph01 ceph]# ceph-deploy mon add ceph03   //ceoh03 mon扩加入到群集中
[root@ceph01 ceph]# systemctl restart ceph-mon.target   //三个节点都重启下服务
[root@ceph01 ceph]# ceph -scluster:id:     3ef8403a-1b42-4b95-b859-f8b01111440fhealth: HEALTH_WARNno active mgrservices:mon: 3 daemons, quorum ceph01,ceph02,ceph03    //加入成功mgr: no daemons activeosd: 3 osds: 3 up, 3 indata:pools:   0 pools, 0 pgsobjects: 0  objects, 0 Busage:   0 B used, 0 B / 0 B availpgs: [root@ceph01 ceph]# systemctl list-unit-files | grep mon   //如果不知道重启mon服务，可以通过如下命令查看
accounts-daemon.service                       enabled
avahi-daemon.service                          enabled
ceph-mon@.service                             enabled
certmonger.service                            disabled
lvm2-monitor.service                          enabled
mdmon@.service                                static
mdmonitor-oneshot.service                     static
mdmonitor.service                             enabled
ndctl-monitor.service                         disabled
rtkit-daemon.service                          enabled
avahi-daemon.socket                           enabled
ceph-mon.target                               enabled

4）OSD数据恢复

  • 故障模拟，删除osd.2
[root@ceph01 ceph]# ceph osd tree   //查看osd信息
ID CLASS WEIGHT  TYPE NAME       STATUS REWEIGHT PRI-AFF
-1       2.99698 root default
-3       0.99899     host ceph01                         0   hdd 0.99899         osd.0       up  1.00000 1.00000
-5       0.99899     host ceph02                         1   hdd 0.99899         osd.1       up  1.00000 1.00000
-7       0.99899     host ceph03                         2   hdd 0.99899         osd.2       up  1.00000 1.00000
[root@ceph01 ceph]# ceph osd out osd.2    //移除osd.2
Amarked out osd.2.
[root@ceph01 ceph]# ceph osd crush remove osd.2   //删除osd.2
removed item id 2 name 'osd.2' from crush map
[root@ceph01 ceph]# ceph auth del osd.2  ##删除osd.2的认证
updated
[root@ceph01 ceph]# ceph osd tree    //osd.2没有权重了
ID CLASS WEIGHT  TYPE NAME       STATUS REWEIGHT PRI-AFF
-1       1.99799 root default
-3       0.99899     host ceph01                         0   hdd 0.99899         osd.0       up  1.00000 1.00000
-5       0.99899     host ceph02                         1   hdd 0.99899         osd.1       up  1.00000 1.00000
-7             0     host ceph03                         2             0 osd.2               up        0 1.00000
[root@ceph03 yum.repos.d]# systemctl restart ceph-osd.target//在ceph03上重启
[root@ceph01 ceph]# ceph osd rm osd.2     //彻底删除
removed osd.2
[root@ceph01 ceph]# ceph osd tree    //osd.2删除成功
ID CLASS WEIGHT  TYPE NAME       STATUS REWEIGHT PRI-AFF
-1       1.99799 root default
-3       0.99899     host ceph01                         0   hdd 0.99899         osd.0       up  1.00000 1.00000
-5       0.99899     host ceph02                         1   hdd 0.99899         osd.1       up  1.00000 1.00000
-7             0     host ceph03
  • 恢复osd到群集中
//登入ceph03
[root@ceph03 yum.repos.d]# df -hT    //查看磁盘信息
。。省略部分内容
tmpfs          tmpfs     1.9G   52K  1.9G   1% /var/lib/ceph/osd/ceph-2
[root@ceph03 yum.repos.d]# cd /var/lib/ceph/osd/ceph-2/
[root@ceph03 ceph-2]# more fsid    //查看osd信息
dfdd5560-a9c2-47d2-97be-a47f3db9d327
[root@ceph03 ceph-2]# ceph osd create dfdd5560-a9c2-47d2-97be-a47f3db9d327   //执行恢复   ceph osd create uuid
2
[root@ceph03 ceph-2]# ceph auth add osd.2 osd 'allow *' mon 'allow rwx' -i /var/lib/ceph/osd/ceph-2/keyring  //增加权限
added key for osd.2
[root@ceph03 ceph-2]# ceph osd crush add 2 0.99899 host=ceph03
set item id 2 name 'osd.2' weight 0.99899 at location {host=ceph03} to crush map   //0.99899是权重，host是主机名称
[root@ceph03 ceph-2]# ceph osd in osd.2
osd.2 is already in.
[root@ceph03 ceph-2]# systemctl restart ceph-osd.target   //重启服务
[root@ceph01 ceph]# ceph osd tree   //查看状态，osd.2恢复成功
ID CLASS WEIGHT  TYPE NAME       STATUS REWEIGHT PRI-AFF
-1       2.99696 root default
-3       0.99899     host ceph01                         0   hdd 0.99899         osd.0       up  1.00000 1.00000
-5       0.99899     host ceph02                         1   hdd 0.99899         osd.1       up  1.00000 1.00000
-7       0.99898     host ceph03                         2   hdd 0.99898         osd.2       up  1.00000 1.00000

4.CEPH常规的维护命令

1）创建mgr服务

[root@ceph01 ceph]# ceph-deploy mgr create ceph01 ceph02 ceph03//创建mgr服务
[root@ceph01 ceph]# ceph -scluster:id:     3ef8403a-1b42-4b95-b859-f8b01111440fhealth: HEALTH_OKservices:mon: 3 daemons, quorum ceph01,ceph02,ceph03mgr: ceph01(active), standbys: ceph02, ceph03    //创建成功osd: 3 osds: 3 up, 3 indata:pools:   0 pools, 0 pgsobjects: 0  objects, 0 Busage:   3.0 GiB used, 3.0 TiB / 3.0 TiB availpgs:

2）创建pool

[root@ceph01 ceph]# ceph osd pool create cinder 64
pool 'cinder' created
[root@ceph01 ceph]# ceph osd pool create nova 64
pool 'nova' created
[root@ceph01 ceph]# ceph osd pool create glance 64
pool 'glance' created
[root@ceph01 ceph]# ceph osd pool ls
cinder
nova
glance

3）删除pool

[root@ceph01 ceph]# vi ceph.conf
mon_allow_pool_delete=true
[root@ceph01 ceph]# ceph-deploy --overwrite-conf admin ceph02 ceph03   //下发配置给两外两个节点
[root@ceph01 ceph]# systemctl restart ceph-mon.target   //三个节点重启服务
[root@ceph01 ceph]# ceph osd pool rm cinder cinder --yes-i-really-really-mean-it
pool 'cinder' removed
[root@ceph01 ceph]# ceph osd pool ls
nova
glance

4）修改pool名字

[root@ceph01 ceph]# ceph osd pool rename nova nova2
pool 'nova' renamed to 'nova2'
[root@ceph01 ceph]# ceph osd pool ls
nova2
glance

5）查看ceph命令

[root@ceph01 ceph]# ceph --help
[root@ceph01 ceph]# ceph osd --help

6）配置ceph内部通信网段

[root@ceph01 ceph]# vi ceph.conf
public_network = 192.168.124.0/24
[root@ceph01 ceph]# ceph-deploy --overwrite-conf admin ceph02 ceph03   //将文件下发ceoh02 ceph03
[root@ceph01 ceph]# systemctl restart ceph-mon.target
[root@ceph01 ceph]# systemctl restart ceph-osd.target

CEPH概述及实验（CEPH部署及群集搭建+节点扩容+数据恢复）相关推荐

  1. 什么是非关系型数据库，Redis概述、安装及部署Redis群集

    目录 一.什么是非关系型数据库 (1)关系型数据库 (2)非关系型数据库 (3)非关系型数据库产生背景 -High performance--对数据库高并发读写需求 -Huge Storage--对海 ...

  2. Cluster04 - Ceph概述 部署Ceph集群 Ceph块存储

    ceph 快照:可用做备份 一.ceph概述 1.1 什么是分布式文件系统 •  分布式文件系统(Distributed File System)是指文 件系统管理的物理存储资源不一定直接连接在本地节 ...

  3. 分布式开源存储架构Ceph概述

    文章目录 概述 什么是ceph? ceph的架构 Ceph OSD Ceph Monitor OSD Map PG Map CRUSH算法 Ceph的文件存储 Ceph的MDS ceph的不足 Cep ...

  4. centos 6.4 ceph 分布式集群文件系统部署 手记

    Centos 6.4 ceph 分布式集群文件系统部署 0,  部署环境       IP ADDR       HOSTNAME    rule     192.168.1.120  master- ...

  5. 部署LVS-DR群集【实验】

    部署LVS-DR群集[实验] 文章目录 部署LVS-DR群集[实验] 1.LVS-DR数据包流向分析 2.DR模式的特点 3.LVS-DR中的ARP问题 4.DR模式 LVS负载均衡群集部署 4.1所 ...

  6. 部署docker-consul群集，Harbor构建Docker私有仓库

    文章目录 部署docker-consul群集,Harbor构建Docker私有仓库 了解Harvor 案例概述 Docker consul服务了解 部署Harbor服务过程 不是本地上传镜像操作 在用 ...

  7. ceph（2）--Ceph RBD 接口和工具

    本系列文章会深入研究 Ceph 以及 Ceph 和 OpenStack 的集成: (1)安装和部署 (2)Ceph RBD 接口和工具 (3)Ceph 物理和逻辑结构 (4)Ceph 的基础数据结构 ...

  8. [转]“Ceph浅析”系列之(—)—Ceph概况

    转载自:http://yizhaolingyan.net/?p=11 本文将对Ceph的基本情况进行概要介绍,以期读者能够在不涉及技术细节的情况下对Ceph建立一个初步印象. 2.1   什么是Cep ...

  9. ceph（7）--Ceph 的基本操作和常见故障排除方法

    本系列文章会深入研究 Ceph 以及 Ceph 和 OpenStack 的集成: (1)安装和部署 (2)Ceph RBD 接口和工具 (3)Ceph 物理和逻辑结构 (4)Ceph 的基础数据结构 ...

最新文章

  1. Intel或将裁员数千人 谋求业务转型
  2. 二叉树的四种遍历方式(递归和非递归双重实现)
  3. （五）Docker查看容器ip及指定固定IP
  4. C Looooops POJ - 2115
  5. Mysql语句与应用
  6. MediaProxy的Web监控界面及多Relay情景配置
  7. layui修改table中的按钮_layui数据表格中如何设置按钮切换（是否置顶）与分页居中...
  8. matlab摩擦阵子,用simulink仿真lugre摩擦模型时出现错误该如何解决。
  9. mysql mybatis springMVC
  10. 在公司群匿名吐槽后当场“掉马”？QQ回应：真这样程序猿要被祭天
  11. paip.xdebug 配置attilax总结.txt
  12. 小程序二维码海报生成
  13. GAN网络-简单明了
  14. 小度加速破圈，智能音箱告别肉搏战
  15. 2022双非保研经历
  16. 怎么样实现一台电脑上两个mysql自由切换版本
  17. 1092 最好吃的月饼
  18. mac 外接双显示器
  19. python 高性能编程 AOT VS JIT
  20. 谷歌，微软，阿里，美团实习生面经

热门文章

  1. 计算机网络 5电路交换
  2. Programing Exercise 4:Neural Networks Learning
  3. c语言实验报告 折半查找法,C语言数组之冒泡排序+折半查找法（二分查找）
  4. 矢量与场论 | 哈密顿算子，哈密顿算子，散度点乘，旋度叉乘的计算过程以及以及定理
  5. 如何管理比自己强的下属？
  6. iOS企业证书的申请教程
  7. randn与rand的区别
  8. php volist中作判断,ThinkPHP模板中判断volist循环的最后一条记录的验证方法
  9. ModalForm的使用
  10. Atomic类如何保证原子性