应用ceph对象存储(ceph-13.2.10)

记录：335

场景：在CentOS 7.9操作系统上，部署ceph-13.2.10集群。应用ceph对象存储(ceph object store)；主要是创建对象存储客户端、使用s3cmd操作对象存储。

版本：

操作系统：CentOS 7.9

ceph版本：ceph-13.2.10

名词：

Ceph:一个开源的分布式存储系统。

Ceph: Ceph is a distributed object store and file system designed to provide excellent performance, reliability and scalability.

Amazon S3，Amazon Simple Storage Service的简称，是一种对象存储服务，使用唯一性键值来存储任意数量的对象。

S3cmd，是一个免费的命令行工具和客户端，用于在Amazon S3和其他使用S3协议的云存储服务提供商中上传、下载、检索和管理数据。比如，Ceph支持S3协议。

bucket，在Ceph的对象存储模式中，bucket存放格式是：s3://BUCKET，相当于根目录下的一级目录；对象在bucket中存放格式：s3://BUCKET/OBJECT。

bucket，直译：桶。

地址：

官网：https://docs.ceph.com/

安装包地址：https://mirrors.aliyun.com/ceph/rpm-mimic/

1.基础环境

1.1 Ceph集群(服务端)

集群已安装软件：ceph-deploy、ceph、ceph-radosgw。

集群已部署组件：mon、mgr、mds、osd、rgw。

查看集群状态：ceph -s

1.2 Ceph客户端

在集群之外的主机app166中部署客户端。操作ceph集群的存储系统。

安装命令：yum install -y ceph-common

解析：在客户端主机安装ceph-common，操作集群。

1.3主机软件规划

ceph集群和ceph客户端的主机、IP以及组件分布规划。

1.4安装ceph

离线安装ceph集群，可以参考如下博文。

博文：离线安装ceph集群(ceph-13.2.10)

地址：https://blog.csdn.net/zhangbeizhen18/article/details/128052772

2.开启客户端认证

在主节点app161操作，操作目录：cd /etc/ceph。

(1)确认ceph.conf文件

文件：/etc/ceph/ceph.conf

内容：auth_client_required = cephx

(2)确认客户端秘钥

秘钥文件名称：/etc/ceph/ceph.client.admin.keyring

秘钥内容：

[client.admin]
key = AQDtioBjVwefMBAAu0/oJPK2khWK+juNOQkyZw==
caps mds = "allow *"
caps mgr = "allow *"
caps mon = "allow *"
caps osd = "allow *"

3.同步主节点配置文件到客户端

在主节点app161操作，操作目录：cd /etc/ceph。

(1)执行同步配置文件操作

命令：ceph-deploy admin 192.168.19.166

解析：ceph-deploy admin，执行同步配置命令；192.168.19.166，是客户端主机ip，如果没有配置免密，那么就需要输入密码确认。

(2)同步的文件列表

从主节点app161同步到客户端节点的配置文件：

ceph.client.admin.keyring、ceph.con、tmpW4qEGF。

4.客户端生成操作对象存储秘钥

在客户端app166操作，操作目录：cd /etc/ceph。

(1)创建秘钥

命令：radosgw-admin user create --uid="hangzhou" --display-name="hangzhou"

解析：radosgw-admin是安装ceph-common已安装；hangzhou，是指定的名称。

(2)生成秘钥信息

生成key信息：

...
"user": "hangzhou",
"access_key": "IH7D60Y1FCF3RZR9NG36",
"secret_key": "vAG2dK6kyhJTRPbH5Nogw0Uqja2UR8egPeRoxDNb"
...

5.安装s3cmd客户端

在客户端app166操作，操作目录：cd /etc/ceph。

(1)安装s3cmd

安装s3cmd命令：yum install -y s3cmd

安装辅助包：yum install -y python-pip

解析：s3cmd是操作对象存储的客户端。

6.配置s3cmd客户端

修改文件：vi /root/.s3cfg

修改内容：

[default]
access_key=IH7D60Y1FCF3RZR9NG36
secret_key=vAG2dK6kyhJTRPbH5Nogw0Uqja2UR8egPeRoxDNb
host_base=192.168.19.161:7480
host_bucket=192.168.19.161:7480/%(bucket)
cloudfront_host=192.168.19.161:7480
use_https=False

7.应用s3cmd操作对象存储

(1)ps帮助命令

命令：s3cmd --help

功能：查看s3cmd支持全部命令和选项，在实际工作中，查看这个手册应该是必备之选。

(2)配置s3cmd

命令：s3cmd --configure

功能：一个交互式配置工具。

(3)创建bucket

命令：s3cmd mb s3://hangzhou

功能：创建一个bucket，名称：hangzhou。bucket名称唯一，不能重复。

(4)删除空bucket

命令：s3cmd rb s3://hangzhou

功能：只能删除空桶，如果桶有内容需先删内容，再删除桶。

(5)查看bucket

命令：s3cmd ls

功能：查看桶列表。

命令：s3cmd ls s3://hangzhou/

功能：查看指定桶下的对象。

(6)查看bucket包括内容

命令：s3cmd la

功能：查看s3://下的桶列表，包括桶里面的对象。

(7)上传文件到bucket

命令：s3cmd put /home/jdk-8u281-linux-x64.tar.gz s3://hangzhou

功能：上传文件到ceph的桶中存储。

(8)从bucket下文件

命令：s3cmd get s3://hangzhou/jdk-8u281-linux-x64.tar.gz

功能：从ceph的桶中下载文件到本地。

(9)删除bucket中的文件

命令：s3cmd del s3://hangzhou/jdk-8u281-linux-x64.tar.gz

命令：s3cmd rm s3://hangzhou/jdk-8u281-linux-x64.tar.gz

功能：删除桶中文件。

(10)查看bucket已使用空间

命令：s3cmd du -H s3://hangzhou

功能：查看桶中对象，占用空间大小。

(11)获取bucket的信息

命令：s3cmd info s3://hangzhou

功能：查看桶信息。

命令：s3cmd info s3://hangzhou/jdk-8u281-linux-x64.tar.gz

功能：查看桶中对象信息。

(12)复制bucket中文件

命令：s3cmd cp s3://hangzhou/jdk-8u281-linux-x64.tar.gz s3://hangzhou_new

功能：把文件从一个桶复制到另一个桶。

(13)移动bucket中文件

命令：s3cmd mv s3://hangzhou/jdk-8u281-linux-x64.tar.gz s3://hangzhou_new

功能：把文件从一个桶移动到另一个桶。

(14)本地目录下文件同步bucket

命令：s3cmd sync /home/apps/software/ s3://hangzhou

功能：指定目录下文件，同步到ceph的桶中。

(15)对比指定目录下文件和bucket中文件差异

命令：s3cmd sync --dry-run /home/apps/software/ s3://hangzhou

功能：比对本地目录下文件和bucket文件差异。

(16)对比指定目录下文件和bucket中文件并删除桶中差异文件

命令：s3cmd sync --delete-removed /home/apps/software/ s3://hangzhou_new

功能：对比指定目录下文件和bucket中文件，删除指定目录没有但是在桶中有的文件；上传指定目录有的文件但是桶中没有的文件。

以上，感谢。

2022年11月26日

应用ceph对象存储(ceph-13.2.10)相关推荐

ceph的数据存储之路(10) -----ceph对象存储的ls命令实现及思考
2019独角兽企业重金招聘Python工程师标准>>> 更新:2016-10-19--------------------------------------- 前面更新的内容可能略 ...
【转】Ceph对象存储(rgw)的IPv6环境配置
引言在搭建成功Ceph集群后,对于如何使用,其实我还是一脸MB的,心想竟然提供三种存储接口(对象,文件,快),口气也未免太大.在结合项目需求之后,我选择了对象存储接口.那么问题又来了,如何配置IPv ...
Ceph对象存储(rgw)的IPv6环境配置
本文作者: lemon 本文链接: https://lemon2013.github.io/2016/11/09/Ceph对象存储-rgw-IPv6环境配置/ 版权声明: 本博客所有文章除特别声明外, ...
Ceph对象存储的使用
Ceph对象存储 RadosGW的使用一.介绍作为文件系统的磁盘,操作系统不能直接访问对象存储.相反,它只能通过应用程序级别的API访问. Ceph是一种分布式对象存储系统,通过Ceph对象网关提 ...
安装RADOS gateway（CEPH对象存储）
一.前期准备: 安装RADOS gateway是为了使用对象存储.所以安装RADOS gateway之前,我已经安装好了CEPH,具体请参考我的博客<Ubuntu14.04部署CEPH>. ...
ceph对象存储折腾记
2019独角兽企业重金招聘Python工程师标准>>> 前言一直想弄对象存储,以前弄过一次,不是很理解region是个什么东西,后来时间和工作上的原因没有再折腾,这两天闲了下来,再 ...
使用ceph的对象存储
Ceph 对象存储 Ceph 对象存储使用 Ceph 对象网关守护进程( radosgw ),它是个与 Ceph 存储集群交互的 FastCGI 模块.因为它提供了与 OpenStack Swift ...
Kubernetes 集群基于 Rook 的 Ceph 存储之块设备、文件系统、对象存储
文章目录 1.Rook & Ceph 介绍 2.环境.软件准备 3.Block 块存储 3.1.创建 CephBlockPool.StorageClass 3.2.验证并测试 4.File S ...
Ceph原理、部署、存储集群、块存储及对象存储centos7.5
目录编辑一.Ceph概述 1.基础知识 1. 分布式存储定义 2. 常用的分布式文件系统 3. Ceph定义 4. Ceph组件二.实验环境准备 1.实验拓扑图 2.配置yum源 3.配置SS ...

应用ceph对象存储(ceph-13.2.10)

应用ceph对象存储(ceph-13.2.10)相关推荐

最新文章

热门文章