存储设备有三种使用类型，块存储、文件存储、对象存储。

Ceph对于上述3中类型的使用方式都支持，需要进行不同的服务端配置与客户端调用。

1、块存储

1.1服务端配置

创建pool

ceph osd pool create test 32

创建块设备

rbd create rbd_write --size 1024 --pool test

查看pool下面的块

rbd -p test ls

1.2客户端调用

客户端映射块

rbd map test/rbd_write

#同理，断开映射为

rbd unmap test/rbd_write

挂载后，如果报rbd: sysfs write failed

RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable".的错，是因为当前OS的内核不支持某些feature。

解决方案：关闭某些扩展特性，然后重新映射。

rbd feature disable test/rbd_write exclusive-lock object-map fast-diff deep-flatten

rbd map test/rbd_write

映射后，对裸磁盘进行格式化。

mkfs.xfs /dev/rbd0
mkdir -p /mnt/ceph_rbd
mkdir /dmnt/ceph_rbd
mount /dev/rbd0 /mnt/ceph_rbd

可以进入/mnt/ceph_rbd目录，然后创建文件进行测试。

2、文件存储

2.1服务端配置

创建挂载目录

mkdir /cephfs

复制配置文件

将ceph配置文件ceph.conf从管理节点copy到client节点（10.1.30.43为管理节点）

rsync -e "ssh -p22" -avpgolr root@10.1.30.43:/etc/ceph/ceph.conf /etc/ceph/

复制密钥

将ceph的ceph.client.admin.keyring从管理节点copy到client节点

rsync -e "ssh -p22" -avpgolr root@10.1.30.43:/etc/ceph/ceph.client.admin.keyring /etc/ceph/

查看ceph授权

ceph auth list

installed auth entries:
mds.ceph-adminkey: AQAZZxdbH6uAOBAABttpSmPt6BXNtTJwZDpSJg==caps: [mds] allowcaps: [mon] allow profile mdscaps: [osd] allow rwx
osd.0key: AQCuWBdbV3TlBBAA4xsAE4QsFQ6vAp+7pIFEHA==caps: [mon] allow profile osdcaps: [osd] allow *
osd.1key: AQC6WBdbakBaMxAAsUllVWdttlLzEI5VNd/41w==caps: [mon] allow profile osdcaps: [osd] allow *
osd.2key: AQDJWBdbz6zNNhAATwzL2FqPKNY1IvQDmzyOSg==caps: [mon] allow profile osdcaps: [osd] allow *
client.adminkey: AQCNWBdbf1QxAhAAkryP+OFy6wGnKR8lfYDkUA==caps: [mds] allow *caps: [mon] allow *caps: [osd] allow *
client.bootstrap-mdskey: AQCNWBdbnjLILhAAT1hKtLEzkCrhDuTLjdCJig==caps: [mon] allow profile bootstrap-mds
client.bootstrap-mgrkey: AQCOWBdbmxEANBAAiTMJeyEuSverXAyOrwodMQ==caps: [mon] allow profile bootstrap-mgr
client.bootstrap-osdkey: AQCNWBdbiO1bERAARLZaYdY58KLMi4oyKmug4Q==caps: [mon] allow profile bootstrap-osd
client.bootstrap-rgwkey: AQCNWBdboBLXIBAAVTsD2TPJhVSRY2E9G7eLzQ==caps: [mon] allow profile bootstrap-rgw

2.2客户端调用

客户端设备，安装ceph-fuse（这里直接用ceph-admin-10.1.30.43测试，如果需要在其他设备测试请注意yum源配置）

yum install -y ceph-fuse

将ceph集群存储挂载到客户机的/cephfs目录下

ceph-fuse -m 10.1.30.43:6789 /cephfs

2018-06-06 14:28:54.149796 7f8d5c256760 -1 init, newargv = 0x4273580 newargc=11
ceph-fuse[16107]: starting ceph client
ceph-fuse[16107]: starting fuse

df -h

Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/vg_centos602-lv_root50G  3.5G   44G   8% /
tmpfs                 1.9G     0  1.9G   0% /dev/shm
/dev/sda1             477M   41M  412M   9% /boot
/dev/mapper/vg_centos602-lv_home45G   52M   43G   1% /home
/dev/vdb1              20G  5.1G   15G  26% /data/osd1
ceph-fuse              45G  100M   45G   1% /cephfs

由上面可知，已经成功挂载了ceph存储，三个osd节点，每个节点有15G（在节点上通过"lsblk"命令可以查看ceph data分区大小）,一共45G！

取消ceph存储的挂载

umount /cephfs

3、对象存储

3.1服务端配置

Ceph 对象存储使用 Ceph 对象网关守护进程（ radosgw ），它是个与 Ceph 存储集×××互的 FastCGI 模块。Ceph RGW的FastCGI支持多种Web服务器作为前端，而Ceph从v0.8开始，使用内嵌Civetweb作为WebServer，无需额外安装nginx或者apache作web服务。

修改yum文件，并且安装网关服务。

vi /etc/yum.repos.d/CentOS-Base.repo
[centosplus]
enabled=1

ceph-deploy install --rgw ceph-admin

创建网关实例

/home/cephuser/cluster

ceph-deploy rgw create testrgw

一旦网关开始运行，可以通过7480端口访问尝试

创建账号

radosgw-admin user create --uid="testuser" --display-name="First User"

自动返回如下

{"user_id": "testuser","display_name": "First User","email": "","suspended": 0,"max_buckets": 1000,"auid": 0,"subusers": [],"keys": [{"user": "testuser","access_key": "EVAKP3SXQ5PX8EMEM9XK","secret_key": "pr7WUkuEyTJS8obM0i75GgHTYlYSPluzViCJCCIX"}],"swift_keys": [],"caps": [],"op_mask": "read, write, delete","default_placement": "","placement_tags": [],"bucket_quota": {"enabled": false,"max_size_kb": -1,"max_objects": -1},"user_quota": {"enabled": false,"max_size_kb": -1,"max_objects": -1},"temp_url_keys": []
}

使用查看命令也能再次看到上述信息

radosgw-admin user info --uid=testuser

3.2客户端调用

客户端安装软件

yum install s3cmd

s3cmd --configure

Access Key:EVAKP3SXQ5PX8EMEM9XK
Secret Key:pr7WUkuEyTJS8obM0i75GgHTYlYSPluzViCJCCIX
Default Region [US]:默认
S3 Endpoint [s3.amazonaws.com]: 10.1.30.43:7480
[%(bucket)s.s3.amazonaws.com]: %(bucket)s.10.1.30.43:7480
Use HTTPS protocol [Yes]: No
Test access with supplied credentials? [Y/n] Y
Retry configuration[Y/n]:n
Save settings? [y/N] y

其他选项直接回车即可，不要修改。设置完成后，运行

s3cmd ls

如果报错如下，则证明配置文件里面有问题

Invoked as: /usr/bin/s3cmd ls
Problem: error: [Errno 111] Connection refused

解决办法：

vi ~/.s3cfg

检查5个参数

access_key = EVAKP3SXQ5PX8EMEM9XK
cloudfront_host = ceph-admin:7480
host_base = ceph-admin:7480
host_bucket = %(*)s.ceph-admin:7480
secret_key = pr7WUkuEyTJS8obM0i75GgHTYlYSPluzViCJCCIX

然后重新s3cmd测试

s3cmd ls

创建名叫my_bucket的数据目录（类似创建文件夹，但是注意，bucket是对象存储的概念，不是文件夹）

s3cmd mb s3://my_bucket

put上传对象到具体目录

s3cmd put /var/log/messages s3://my_bucket/log/

查看对象

s3cmd ls s3://my_bucket/log/

get下载对象

s3cmd get s3://my_bucket/log/messages /tmp/

删除对象

s3cmd del s3://my_bucket/log/messages

删除bucket

s3cmd rb s3://my_bucket/log/