几种分布式存储组网架构参考

作者： @NGDCN

原文链接：几种分布式存储组网架构参考 - NGDCN

版权：本文由 @NGDCN 于2022-11-12原创发布在 NGDCN，未经许可，禁止转载。

1、名词解释

◼ VBS：云硬盘备份（Volume Backup Service），为云硬盘创建在线备份，无需关机/重启。针对病毒入侵、人为误删除、软硬件故障等场景，可将数据恢复到任意备份点

◼ DPC：DPC（Distributed Parallel Client）分布式并行客户端，它作为存储客户端运行在计算节点上，可同时连接多个存储节点，对上层应用提供标准POSIX和MPI-IO接口，以获得更好的兼容性和更优的性能。

◼ OSD：存储局域网(SAN)和网络附加存储(NAS)是我们比较熟悉的两种主流网络存储架构，而对象存储（Object-based Storage）是一种新的网络存储架构，基于对象存储技术的设备就是对象存储设备（Object-based Storage Device）简称OSD。

◼ EDS：Enterprise Data Service，EDS进程是提供快照、重删、复制等企业级高可用特性，EDS在存储节点上会启用此进程。

◼ BMC：管理网络，主要是指BMC带外管理和内部管理流量使用的网络平面。

2、什么是分布式存储的前后端共享和前后端独立组网架构？

2.1、概述

当计算节点和存储节点分离部署，且VBS/DPC部署在计算节点中时，我们可以选择存储前后端独立部署。那么存储前后端共享和存储前后端独立存在什么区别呢？

根据VBS/DPC和OSD间的通信数据是否与OSD和OSD间的通信数据隔离，可分为存储前后端共享网络和存储前后端独立网络。

当存储前后端独立网络时，VBS/DPC和EDS间的通信数据使用存储前端网络，EDS和OSD间的通信数据使用存储后端网络。此时为三网场景，即管理网络+存储前端网络+存储后端网络。

当存储前后端共享网络时，VBS/DPC和EDS间的通信数据与OSD和OSD间的通信数据使用同一个存储网络，此时为两网场景，即管理网络+存储网络。

2.2、两网场景：存储前后端共享组网

图1：存储前后端共享组网方案网络示意图

图2：典型分布式存储两网组网架构

如图1和图2所示，两网为管理网络+存储网络（VBS与OSD通信+OSD与OSD通信）。

典型分布式存储两网组网架构：solidfire，华为fusionstroage block，高性能块分布式存储普遍采用这一类组网方式。

这种组网方式的最大特点就是物理上不分前后端网络，数据流位于同一个平面网络里面。对于这种架构的分布式块存储要求的是高IOPS和低延迟，带宽相反没有像对象存储那样高。同一个网络平面有助于减少数据传输延迟，到达极致高性能。

2.3、三网场景：存储前后端独立组网

图3：存储前后端独立组网方案网络示意图

图4：典型分布式存储三网组网架构

如图3和图4所示，三网为管理网络+存储前端网络（VBS/DPC与OSD通信）+存储后端网络（OSD与OSD通信）。

典型分布式存储三网组网架构：ceph ，华为fusionstroage object 采用这一类组网方式。

这种组网方式在对象分布式存储中占主流地位，的最大特点就是前、后端网络进行分离：后端网络用于传送存储集群节点内部交换流量，前端网络流量用于应用主机访问存储集群。前后端网络隔离，从安全性能和性能方面都是一种很好的考量。缺点就是成本高。

2.4、三网与两网组网差异比较

表：三网与两网的差异

	两网部署	三网部署
主要场景	VMware vSphere超融合场景（VBS部署在计算存储融合节点的CVM）Database/原生OpenStack/文件共享/华为云生态（VBS部署在计算节点）VMware vSphere/Microsoft Hyper-V/原生OpenStack/文件共享场景（VBS部署在存储节点）VMware vSphere计算存储分离（VBS部署在计算节点的CVM）标准协议文件/对象/大数据场景。	Database/原生OpenStack/文件共享/华为云生态（VBS部署在计算节点）文件服务DPC场景
性能	所有存储前端业务、数据镜像、重构流量都走唯一的存储平面。在存储前端（VBS与OSD通信）流量较大时，存储后端（OSD与OSD通信）存在网络瓶颈，导致网口跑满，影响业务性能。FusionStorage 6.3版本仅支持两网。	存储前端流量：VBS/DPC到EDS。存储后端流量：WAL日志，EC/副本间数据的镜像、分解和重构。由于网络平面进行了拆分，即使在前台大业务量叠加重构，也很难达到网络带宽上线，因此三网部署性能更好。即使整体带宽没有达到网络瓶颈，由于三网部署使用的网卡更多，处理网络数据包能力更强，整体业务性能也比两网部署更好。FusionStorage 8.0 及之后版本支持两网和三网。
稳定性	在网络成为瓶颈时，前台业务与重构争抢流量，导致前台业务受损（带宽下降大或波动大）。	由于存储前后端分离部署，前台与后台流量不会相互影响，用户业务更加平稳。

参考资料

1、https://forum.huawei.com/enterprise/zh/thread/580939334461308928

2、几种分布式存储组网架构参考 - 腾讯云开发者社区-腾讯云

3、华为云计算（5）——FusionStorage - 知乎

4、概述 - OceanStor Pacific系列 8.1.0 OceanStor Pacific系列 8.1.0 组网规划指南 - 华为数据存储

5、Ceph学习笔记（4）- OSD - Hui_Tong - 博客园

6、X10000 存储前端网存储后断网和业务网具体有什么区别？ - 知了社区