Velero(以前称为 Heptio Ark)是一个开源工具，可以安全地备份和还原，执行灾难恢复以及迁移 Kubernetes 集群资源和持久卷，可以在 TKE 集群或自建 Kubenetes 集群中部署 Velero 用于：

• 备份集群资源并在丢失的情况下进行还原。

• 将集群资源迁移到其他集群。

• 将生产集群资源复制到开发和测试集群。

Velero 工作原理图如下图所示，当用户执行备份命令时，调用自定义资源 API 创建备份对象(1)，BackupController 控制器 watch 到生成的备份对象时(2)执行备份操作(3)，备份完成后将备份的集群资源和存储卷快照上传到 Velero 的后端存储(4和5)；类似的，当执行还原操作时，Velero 会将指定备份对象的数据从后端存储同步到 Kubernetes 集群完成还原工作。

下面介绍使用腾讯云对象存储 COS 作为 Velero 后端存储实现集群备份和还原的操作步骤。

一、前提条件

• 已注册腾讯云账户；

• 已开通 COS 服务；

• 已创建 Kubernetes 集群，集群版本 v1.10 或更高版本，集群可正常使用 DNS 和 互联网服务。

二、配置存储

1、创建 COS 存储桶

在 COS 控制台为 Velero 创建一个对象存储桶来存储备份 。

通过 COS 控制台为存储桶设置访问权限。对象存储 COS 支持设置两种权限类型：

• 公共权限设置：为了安全起见，推荐存储桶权限类别为私有读写。

• 用户权限设置：主账号默认拥有存储桶所有权限(即完全控制)，另外 COS 支持添加子账号有数据读取、数据写入、权限读取、权限写入，甚至完全控制的最高权限。

由于需要对存储桶进行读写操作，为示例子账号授予数据读取、数据写入权限，如下图所示：

2、获取存储桶访问凭证

Velero 使用与 AWS S3 兼容的 API 访问 COS ，需要使用一对访问密钥 ID 和密钥创建的签名进行身份验证，在 S3 API 参数中，access_key_id字段为访问密钥 ID ， secret_access_key 字段为密钥。

在腾讯云访问管理控制台新建和获取 COS 授权的示例子账号的腾讯云密钥 SecretId与 SecretKey ，如下图。其中 SecretId 值对应 access_key_id 字段，SecretKey 值对应 secret_access_key 字段。

根据上述对应关系在本地目录中创建 Velero 所需的凭证配置文件 credentials-velero ：

[default]aws_access_key_id=aws_secret_access_key=

三、安装 Velero

下载最新官方发行的 Velero 压缩包到集群环境中，本示例以撰写此文档时最新版本 v1.5.2 为例。

wget https://github.com/vmware-tanzu/velero/releases/download/v1.5.2/velero-v1.5.2-linux-amd64.tar.gz

提取压缩包，压缩包中包含 Velero 命令行执行文件和一些示例文件。

tar -xvf velero-v1.5.2-linux-amd64.tar.gz

将 velero 可执行文件从解压后的目录迁移到系统环境变量目录下直接使用，这里移至 /usr/bin 目录。

mv velero-v1.5.2-linux-amd64/velero /usr/bin/

执行下面 Velero 安装命令，创建 Velero 和 restic 工作负载以及其他必要的资源对象。

velero install  --provider aws --plugins velero/velero-plugin-for-aws:v1.1.0 --bucket   \--secret-file ./credentials-velero \--use-restic \--default-volumes-to-restic \--backup-location-config \region=ap-guangzhou,s3ForcePathStyle="true",s3Url=https://cos.ap-guangzhou.myqcloud.com

参数说明：

• --provider：声明使用的 Velero 插件类型。

• --plugins：使用 S3 API 兼容插件 “velero-plugin-for-aws ”。

• --bucket：在腾讯云 COS 创建的存储桶名。

• --secret-file：访问 COS 的访问凭证文件，见上面创建的 “credentials-velero”凭证文件。

• --use-restic：使用开源免费备份工具 restic 备份和还原持久卷数据。Velero 支持使用免费开源备份工具 restic 备份和还原 Kubernetes 存储卷数据 (不支持 hostPath 卷)，这种集成是 Velero 备份功能的补充，建议开启。

• --default-volumes-to-restic：使用 restic 来备份所有Pod卷，前提是需要开启 --use-restic 参数。

• --backup-location-config：备份存储桶访问相关配置。

• --region：兼容 S3 API 的 COS 存储桶地区，例如创建地区是广州的话，region 参数值为“ap-guangzhou”。

• --s3ForcePathStyle：使用 S3 文件路径格式。

• --s3Url：COS 兼容的 S3 API 访问地址，请注意不是创建的 COS 存储桶的公网访问域名，而是要使用格式为 https://cos..myqcloud.com 的 URL，例如地区是广州的话，参数值为 “https://cos.ap-guangzhou.myqcloud.com”。

另外还有其他安装参数可以使用 velero install --help 查看，比如不想备份存储卷数据的话可以设置 --use-volume-snapshots=false 来关闭存储卷数据快照备份。

执行上面的安装命令后，安装过程如下图所示：

安装命令执行完成后，等待 Velero 和 restic 工作负载就绪后，查看配置的存储位置是否可用。

执行 velero backup-location get 命令查看存储位置状态，显示“Avaliable”，则说明访问 COS 正常，如下图所示：

至此，Velero 安装完成。

四、Velero 备份还原测试

在集群中使用 helm 工具创建一个具有持久卷的 minio 测试服务，在此示例中，已经为 minio 服务绑定了负载均衡器，可以在浏览器中使用公网地址访问管理页面。

登录 minio Web 管理页面，上传一些测试的图片数据， 如下图：

接下来使用 Velero 备份，可以直接备份集群中的所有对象，也可以按类型，名称空间和/或标签过滤对象，本示例使用下面命令仅备份 default 命名空间下所有资源：

velero backup create default-backup --include-namespaces default

使用 velero backup get 命令查看备份任务是否完成，当备份任务状态是“Completed”时，错误数为 0 ，说明备份任务完成且没发生任何错误，备份过程如下图：

此时我们删掉 minio 所有资源，包括它的 PVC 持久卷， 如下图：

删掉 minio 资源后，我们就可以测试使用之前的备份来还原被删除的 minio 资源了，先临时将备份存储位置更新为只读模式(这可以防止在还原过程中在备份存储位置中创建或删除备份对象)：

kubectl patch backupstoragelocation default --namespace velero \    --type merge \    --patch '{"spec":{"accessMode":"ReadOnly"}}'

修改 Velero 的存储位置的访问权限为 “ReadOnly”，如下图所示：

现在使用刚才 Velero 创建的备份 "default-backup" 来创建还原任务：

velero restore create --from-backup default-backup

同样可以使用 velero restore get 来查看还原任务的状态，若还原状态是“Completed”，错误数为 0，则说明还原任务完成，还原过程如下图：

还原完成后，可以看到之前被删除的 minio 相关资源已经还原成功了，如下图：

在浏览器上登录 minio 的管理页面，可以看到之前上传的图片数据还在，说明持久卷的数据成功还原，如下图：

还原完成后，不要忘记把备份存储位置恢复为读写模式，以便下次备份任务成功使用：

kubectl patch backupstoragelocation default --namespace velero \   --type merge \   --patch '{"spec":{"accessMode":"ReadWrite"}}'

五、Velero 卸载

若想在集群中卸载 velero，使用下面命令即可完成卸载。

kubectl delete namespace/velero clusterrolebinding/velerokubectl delete crds -l component=velero

六、总结

在本文中，我们简单介绍了 Kubernetes 集群资源备份工具 Velero，展示了如何配置腾讯云对象存储 COS 来作为 Velero 的后端存储，并成功实践了 minio 服务资源和数据的备份和还原操作 。

七、参考

• Velero 官网：

  https://velero.io/

• Restic 工具介绍：

  https://github.com/restic/restic

• Minio 安装：

  https://github.com/minio/charts

• restic 限制：

  https://velero.io/docs/v1.5/restic/#limitations