ceph查看卷_基于CEPH后端存储搭建Harbor

上一篇文章基于NFS后端存储搭建Harbor ，这一节来聊聊K8s与CEPH的对接以及基于CEPH Harbor的构建。

因为资源的问题，测试环境仍然是K8s的ALL-IN-ONE环境，CEPH集群通过开源ROOK来搭建，而Harbor依然采用Helm的安装方式。

1. CEPH集群的搭建

正常CEPH集群的搭建可通过ceph-deploy、ceph-ansible等工具来搭建，因为这里考虑到跟K8s的对接最后是通过CNCF下开源工具ROOK来完成的。

1.1 部署ROOK系统

部署方式其实很简单，可参考如下步骤来完成：

# 下载rook源码，这里是使用的release-0.9分支
git clone -b release-0.9 https://github.com/rook/rook.git
cd rook/cluster/examples/kubernetes/ceph/
kubectl create -f operator.yaml

如此，部署成功后可以看到如下Pod：

待这些Pod都处于running状态时即可开始CEPH集群的搭建。

1.2 CEPH集群搭建

部署过程其实也很简单，首先依据自身环境修改rook/cluster/examples/kubernetes/ceph/cluster.yaml文件，因为是在K8s集群搭建且只有一个节点，所以要做如下配置更改其实也就是对应cephcluster资源的配置：

更新完成后保存，通过执行如下命令来开始搭建CEPH集群：

cd rook/cluster/examples/kubernetes/ceph/
kubectl create -f cluster.yaml

首次搭建因为拉取镜像需要等待一段时间，我们可以通过命令watch "kubectl get pods -n rook-ceph"来实时查看集群的构建状态，最终的呈现方式应该如下图所示：

搭建完成后不妨对ceph集群做下简单测试。

1.3 测试

首先，我们需要创建StorageClass和RBD POOL：

cd cd rook/cluster/examples/kubernetes/ceph/
kubectl create -f storageclass.yaml

效果呈现如下图所示：

然后，创建一个测试的PVC：

root@vinefu-dev:~# cat test_pvc.yaml
kind: PersistentVolumeClaim
apiVersion: v1
metadata:name: test-claim
spec:accessModes:- ReadWriteOnceresources:requests:storage: 1GistorageClassName: rook-ceph-block
root@vinefu-dev:~#kubectl create -f test_pvc.yaml

查看一下PVC的创建状态：

很显然已经创建成功且绑定到相应的卷，另外创建pvc时有两点额外说明一哈：

因为StorageClass设置默认格式化卷的格式是xfs，所以需要预先在K8s集群节点上安装xfsprogs，命令apt-get install -y xfsprogs安装即可；
创建PVC指定卷大小时，由于xfs的限制，数目不能小于16Mi，否则会出现后续创建Pod volume mount failed；

最后，创建一个测试的pod：

root@vinefu-dev:~# cat test_pod.yaml
kind: Pod
apiVersion: v1
metadata:name: test-pod
spec:containers:- name: test-podimage: busyboxcommand:- "/bin/sh"args:- "-c"- "while true;do sleep 3600;done"volumeMounts:- name: test-pvcmountPath: "/mnt"restartPolicy: "Never"volumes:- name: test-pvcpersistentVolumeClaim:claimName: test-claim
root@vinefu-dev:~#kubectl create -f test_pod.yaml

验证一下结果：

如此，说明CEPH集群搭建成功。

1.4 访问ceph管理界面

CEPH集群搭建完毕后rook会提供一个可视化的ceph管理界面：

root@vinefu-dev:~/harbor-helm# kubectl get svc -n rook-ceph
NAME                      TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)          AGE
rook-ceph-mgr             ClusterIP   10.100.5.96     <none>        9283/TCP         26h
rook-ceph-mgr-dashboard   NodePort    10.98.155.216   <none>        8443:31060/TCP   26h  # ceph管理界面服务，这里采用nodePort的访问模式，对外暴露端口31060
rook-ceph-mon-b           ClusterIP   None            <none>        6790/TCP         13h
root@vinefu-dev:~/harbor-helm#kubectl get secret -n rook-ceph
NAME                           TYPE                                  DATA   AGE
default-token-xbg57            kubernetes.io/service-account-token   3      26h
rook-ceph-dashboard-password   kubernetes.io/rook                    1      26h
rook-ceph-mgr-a                kubernetes.io/rook                    1      26h
rook-ceph-mgr-token-rvp82      kubernetes.io/service-account-token   3      26h
rook-ceph-mon                  kubernetes.io/rook                    4      26h
rook-ceph-osd-token-jkj6f      kubernetes.io/service-account-token   3      26h
root@vinefu-dev:~/harbor-helm# kubectl get secret rook-ceph-dashboard-password -n rook-ceph -o template --template='{{ .data.password }}{{"n"}}' | base64 -d
vrueIupYp7  # ceph管理界面登陆密码，而用户名默认admin

浏览器输入https://10.0.2.15:31060访问ceph管理界面：

1.5 安装toolbox

我们知道一般ceph集群搭建完之后都是通过证书来客户端访问的，直接类似kubectl exec rook-ceph-mon-a-66f5f857fb-h5vfh -- rbd ls的命令是无法查看ceph集群的信息(因为其内部都没有对应的访问keyring)，所以常常安装toolbox来解决这一问题。

cd rook/cluster/examples/kubernetes/ceph
kubectl create -f toolbox.yaml

安装完之后便可以查看ceph集群的相应信息啦：

root@vinefu-dev:~/rook/cluster/examples/kubernetes/ceph# kubectl get pod -n rook-ceph
NAME                                     READY   STATUS      RESTARTS   AGE
rook-ceph-mgr-a-95c6f694d-d99qf          1/1     Running     6          27h
rook-ceph-mon-a-66f5f857fb-h5vfh         1/1     Running     7          27h
rook-ceph-osd-0-745c8b4bc8-srl4g         1/1     Running     7          27h
rook-ceph-osd-prepare-vinefu-dev-sx2rx   0/2     Completed   0          3h39m
rook-ceph-tools-85c554456b-qbrwl         1/1     Running     8          24h
root@vinefu-dev:~/rook/cluster/examples/kubernetes/ceph# kubectl exec -n rook-ceph rook-ceph-tools-85c554456b-qbrwl -- rbd ls replicapool
pvc-33aac180-fd92-435c-aff4-789a674ba833
pvc-5d41d52a-b6ce-4790-b08c-b54cf0e7ba99
pvc-60c64e2b-f7b9-461c-9ade-36fb45d2bf01
pvc-ae03c5f6-6646-4581-a70f-3a40d10b28b2
pvc-b28a29e6-ba9b-4c46-bf65-433686b23934
pvc-dde322f8-5716-4db3-b10a-904e63320640
pvc-ef15814d-b7b3-41f8-bf9a-3cb57e9cee6e
root@vinefu-dev:~/rook/cluster/examples/kubernetes/ceph# kubectl exec -n rook-ceph rook-ceph-tools-85c554456b-qbrwl -- ceph mon stat
e1: 1 mons at {a=10.0.2.15:6790/0}, election epoch 17, leader 0 a, quorum 0 a
root@vinefu-dev:~/rook/cluster/examples/kubernetes/ceph# kubectl exec -n rook-ceph rook-ceph-tools-85c554456b-qbrwl -- ceph osd stat
1 osds: 1 up, 1 in; epoch: e87
root@vinefu-dev:~/rook/cluster/examples/kubernetes/ceph# kubectl exec -n rook-ceph rook-ceph-tools-85c554456b-qbrwl -- ceph osd status
+----+------------+-------+-------+--------+---------+--------+---------+-----------+
| id |    host    |  used | avail | wr ops | wr data | rd ops | rd data |   state   |
+----+------------+-------+-------+--------+---------+--------+---------+-----------+
| 0  | vinefu-dev | 22.2G | 36.5G |    0   |  20.8k  |    1   |     0   | exists,up |
+----+------------+-------+-------+--------+---------+--------+---------+-----------+
root@vinefu-dev:~/rook/cluster/examples/kubernetes/ceph# kubectl exec -n rook-ceph rook-ceph-tools-85c554456b-qbrwl -- ceph df
GLOBAL:SIZE       AVAIL      RAW USED     %RAW USED59 GiB     37 GiB       22 GiB         37.87
POOLS:NAME            ID     USED        %USED     MAX AVAIL     OBJECTSreplicapool     3      442 MiB      1.27        34 GiB         203
root@vinefu-dev:~/rook/cluster/examples/kubernetes/ceph#

2. 基于CEPH来搭建Harbor

这里依然通过helm来安装Harbor，步骤基本上跟基于NFS搭建Harbor一致，只是配置要做稍微变动。

另外，这里Registry的访问采用了证书访问的方式，因此配置上也要做相应的更新：

# harbor-helm/values.yaml更改项
expose.type: nodePort
expose.tls.enabled: true
expose.tls.commonName: "10.0.2.15"  # 主机节点ip即可
externalURL: https://10.0.2.15:30003  # 注意该端口号一定要写上
persistence.persistentVolumeClaim.registry.storageClass: "rook-ceph-block"
persistence.persistentVolumeClaim.redis.storageClass: "rook-ceph-block"
persistence.persistentVolumeClaim.chartmuseum.storageClass: "rook-ceph-block"
persistence.persistentVolumeClaim. jobservice.storageClass: "rook-ceph-block"
persistence.persistentVolumeClaim.database.storageClass: "rook-ceph-block"

然后通过命令helm install --name my-harbor .来完成安装即可。浏览器输入https://10.0.2.15:30003便可访问Harbor界面。

Docker客户端上传镜像至Harbor

由于我们设置时证书访问的模式，首先需要将Harbor registry根证书拷贝到docker客户端，根证书可以在Harbor界面下载：

然后拷贝到docker客户端：

mkdir -p /etc/docker/certs.d/10.0.2.15:30003
cp ca.crt /etc/docker/certs.d/10.0.2.15:30003/
docker login 10.0.2.15:30003  # 用户名和密码默认admin、Harbor12345

如此便可以通过docker客户端向Harbor push/pull镜像了。

至于Charts的处理在前文中已经讲解，此处不作赘述。

3. 扩展

本文只是简单阐述在一个单节点K8s集群搭建基于CEPH后端存储Harbor的过程，实际使用中不管是CEPH集群还是Harbor一般都会独立出来且要做高可用处理来避免单点故障，至于方案也有很多本文就暂且不做深入了。