当前位置：首页 > 存储 > 正文

几种分布式存储组网架构参考

存储
2022-11-10
2706
更新：2022-11-10 14:20:29

## 1、名词解释

<span>◼ </span>VBS：云硬盘备份（Volume Backup Service），为云硬盘创建在线备份，无需关机/重启。针对病毒入侵、人为误删除、软硬件故障等场景，可将数据恢复到任意备份点

<span>◼ </span>DCP：DPC（Distributed Parallel Client）分布式并行客户端，它作为存储客户端运行在计算节点上，可同时连接多个存储节点，对上层应用提供标准POSIX和MPI-IO接口，以获得更好的兼容性和更优的性能。

<span>◼ </span>OSD：存储局域网(SAN)和网络附加存储(NAS)是我们比较熟悉的两种主流网络存储架构，而对象存储（Object-based Storage）是一种新的网络存储架构，基于对象存储技术的设备就是对象存储设备（Object-based Storage Device）简称OSD。

<span>◼ </span>EDS：Enterprise Data Service，EDS进程是提供快照、重删、复制等企业级高可用特性，EDS在存储节点上会启用此进程。

<span>◼ </span>BMC：管理网络，主要是指BMC带外管理和内部管理流量使用的网络平面。

## 2、什么是分布式存储的前后端共享和前后端独立组网架构？

### 2.1、概述

当计算节点和存储节点分离部署，且VBS/DPC部署在计算节点中时，我们可以选择存储前后端独立部署。那么存储前后端共享和存储前后端独立存在什么区别呢？

根据VBS/DPC和OSD间的通信数据是否与OSD和OSD间的通信数据隔离，可分为存储前后端共享网络和存储前后端独立网络。

当存储前后端独立网络时，VBS/DPC和EDS间的通信数据使用存储前端网络，EDS和OSD间的通信数据使用存储后端网络。此时为三网场景，即管理网络+存储前端网络+存储后端网络。

当存储前后端共享网络时，VBS/DPC和EDS间的通信数据与OSD和OSD间的通信数据使用同一个存储网络，此时为两网场景，即管理网络+存储网络。

### 2.2、两网场景：存储前后端共享组网

<center>图1： 存储前后端共享组网方案网络示意图
</center>

<center>图2： 典型分布式存储两网组网架构
</center>

如图1和图2所示，两网为管理网络+存储网络（VBS与OSD通信+OSD与OSD通信）。

典型分布式存储两网组网架构：solidfire，华为fusionstroage block，高性能块分布式存储普遍采用这一类组网方式。

这种组网方式的最大特点就是物理上不分前后端网络，数据流位于同一个平面网络里面。对于这种架构的分布式块存储要求的是高IOPS和低延迟，带宽相反没有像对象存储那样高。同一个网络平面有助于减少数据传输延迟，到达极致高性能。

### 2.3、三网场景：存储前后端独立组网

<center>图3： 存储前后端独立组网方案网络示意图
</center>

<center>图4：典型分布式存储三网组网架构
</center>

如图3和图4所示，三网为管理网络+存储前端网络（VBS/DPC与OSD通信）+存储后端网络（OSD与OSD通信）。

典型分布式存储三网组网架构：ceph ，华为fusionstroage object 采用这一类组网方式。

这种组网方式在对象分布式存储中占主流地位，的最大特点就是前、后端网络进行分离：后端网络用于传送存储集群节点内部交换流量，前端网络流量用于应用主机访问存储集群。前后端网络隔离，从安全性能和性能方面都是一种很好的考量。缺点就是成本高。

###  2.4、三网与两网组网差异比较

表： 三网与两网的差异

|          | 两网部署                                                     | 三网部署                                                     |
| :------- | :----------------------------------------------------------- | :----------------------------------------------------------- |
| 主要场景 | VMware vSphere超融合场景（VBS部署在计算存储融合节点的CVM）Database/原生OpenStack/文件共享/华为云生态（VBS部署在计算节点）VMware vSphere/Microsoft Hyper-V/原生OpenStack/文件共享场景（VBS部署在存储节点）VMware vSphere计算存储分离（VBS部署在计算节点的CVM）标准协议文件/对象/大数据场景。 | Database/原生OpenStack/文件共享/华为云生态（VBS部署在计算节点）文件服务DPC场景 |
| 性能     | 所有存储前端业务、数据镜像、重构流量都走唯一的存储平面。在存储前端（VBS与OSD通信）流量较大时，存储后端（OSD与OSD通信）存在网络瓶颈，导致网口跑满，影响业务性能。FusionStorage 6.3版本仅支持两网。 | 存储前端流量：VBS/DPC到EDS。存储后端流量：WAL日志，EC/副本间数据的镜像、分解和重构。由于网络平面进行了拆分，即使在前台大业务量叠加重构，也很难达到网络带宽上线，因此三网部署性能更好。即使整体带宽没有达到网络瓶颈，由于三网部署使用的网卡更多，处理网络数据包能力更强，整体业务性能也比两网部署更好。FusionStorage 8.0 及之后版本支持两网和三网。 |
| 稳定性   | 在网络成为瓶颈时，前台业务与重构争抢流量，导致前台业务受损（带宽下降大或波动大）。 | 由于存储前后端分离部署，前台与后台流量不会相互影响，用户业务更加平稳。 |

## 参考资料

1、https://forum.huawei.com/enterprise/zh/thread/580939334461308928

2、https://cloud.tencent.com/developer/news/394059

3、https://zhuanlan.zhihu.com/p/332315648

4、https://info.support.huawei.com/storage/docs/zh-cn/oceanstorpacific-8.1.0/network-planning-guide/net_plan_000196.html

5、https://www.cnblogs.com/tongh/p/12712933.html

6、https://zhiliao.h3c.com/questions/dispcont/77311

> <span style="font-style: italic;">声明：本文素材来源于网络，仅供学习使用，如有侵权请联系网站删除(ngdcn_admin@163.com)。</span>

分布式存储