当前位置：首页 > 存储 > 正文

vSAN、基准测试、10Gb、25Gb、RoCEv2 和其他东西……

存储
2022-11-02
2004
更新：2022-11-13 13:03:47

> 作者：Matt Jones
>
> 为大型金融客户完成了在 Dell PowerEdge 服务器和 Arista 交换机上的 VMware vSAN 性能测试。
>
> “再做一件事”是老哥伦布电视犯罪剧中经常听到的一句话。就在嫌疑人认为他们已经逍遥法外时，哥伦布会回来再问他们一个通常会让他们陷入困境的问题。虽然不是犯罪剧，但我们最近有一个 POC，我们有一个大型金融客户非常喜欢 ATC 执行的测试结果，以至于他们不断要求“再做一件事”。

## **工作负载**

该客户要求计算团队运行两个独立的工作负载，一个针对他们的通用工作负载，另一个是他们认为会模仿他们的 SQL 工作负载。我们针对 ATC 中的机架执行了工作负载生成测试，该机架与客户当前在其生产数据中心中部署的设备相匹配。虽然只有两个工作负载，但每个工作负载都有几个子测试：客户想要测试重复数据删除和压缩、ROCEv2 之间的差异，以及 10Gb 和 25Gb 网络上行链路速度之间的差异。

## **vSAN 技术**

<font color=red>**vSAN 是 VMware 在 vSphere 平台内构建的超融合、软件定义的存储平台**</font>。vSAN 从多台服务器获取磁盘并将它们组合在一起以形成一个大型数据存储。

## **硬件**

**该机架由 24 台戴尔服务器 (Dell PowerEdge R640)、两台 Arista (DCS-7280SR-48C6-R) 交换机和一台带外管理交换机组成**。这些交换机通过 10Gb 和 25Gb 连接进行连接，并连接在一起，因此我们可以使用 MLAG（多机箱 LACP）来组合 NIC。vCenter 和主机使用 vSphere 7.0U2 部署，并在测试期间升级到 7.0U3。

<span>◼</span>[24x 戴尔 PowerEdge R640 14G](https://www.dell.com/en-us/work/shop/productdetailstxn/poweredge-r640#techspecs_section)
<span>◼</span>[2x Intel Xeon Gold 6240 @ 2.6GHz](https://www.intel.com/content/www/us/en/products/sku/192443/intel-xeon-gold-6240-processor-24-75m-cache-2-60-ghz/specifications.html)
<span>◼</span>24x 64Gb@2933 MHz 双列 DDR-4
<span>   </span><span>✸</span> 每台主机总计 1536GB
<span>◼</span>每台主机 2 个 375GB NVME 缓存磁盘
<span>◼</span>每台主机 8 个 4TB NVME 容量磁盘。
<span>◼</span> 2x 双端口 Mellanox MT27710 以 2x10Gb 和 2x25Gb 连接

## **测试工具**

使用 VDBench 作为测试引擎的 VMware 的 HCIBench 进行了测试。HCIBench 的默认测试引擎是 FIO，但为了完全独立于测试，我们使用了 VDBench。我们立即遇到了问题，因为客户想使用 LSI Logic Controller 进行测试，但 HCIBench 默认使用准虚拟控制器部署 VM，这可能会影响测试结果。我们与 VMware 合作更改 HCIBench 产品的配置，以使用请求的控制器部署 VM。对于 SQL 测试，我们部署了第二个 HCIBench VM，它默认部署了准虚拟驱动程序。

## **测试**

客户希望将 vSAN 集群填充到 55-60%。在计算完之后，我们部署了 96 个虚拟机（每台主机 4 个），并首先填充了 256k 的大块，以确保第一次运行不会人为地比其他运行快。由于没有任何东西可以移动/更改，第一个闪存副本总是会更快。在填充了 256k 块之后，我们做了一个 WWT 通用填充，它是我们认为模仿真实环境的块的混合。

填充和老化完成后，我们使用客户提供的通用、4k 块、32k 块、64k 块和 SQL 工作负载测试环境。通用、4k、32k 和 64k 工作负载使用 Raid6-FTT2 运行，而 SQL 测试使用 Raid1-FTT2 完成。每个测试运行 2 次，然后平均以考虑运行之间的变化。所有测试都在 MLAG 中组合的 2x10Gb 上开始，我们测试了无压缩与压缩以及 RoCEv2（NIC 卸载）。完成初始测试后，我们在 MLAG 中切换到 2x25Gb，并重新运行所有测试。客户真的希望看到使用 25Gb 而非 10Gb 来处理他们的工作负载的好处。测试开始时的吞吐量高于测试结束时的吞吐量，表明网络以外的其他因素是瓶颈，因此，

## **初步结果**

我们能够帮助客户证明启用压缩对其通用工作负载的影响很小，但他们的 SQL 工作负载受到的影响更大（10-20%）。然而，RoCEv2 测试在提供的通用工作负载下看起来并不好。当我们按特定块大小分解测试时，RoCEv2 的测试对于 4k 块（25-35%）更好。知道这一点后，客户可能会在他们的应用程序具有小块大小时寻求利用 RoCEv2。测试 10Gb 与 25Gb，我们能够证明这两种工作负载都不会从 25Gb 中受益，因为瓶颈不是网络（超过 8Gb），而是 CPU 受限。

## **还有一** **件事**

在向客户提供初步结果后，他们想要更多。我们同意进行更多测试，包括使用 Raid1-FTT1 进行 SQL 测试、更少量的 VM、不同的线程大小。额外的测试又运行了一个月。这个集群仍然部署在我们的 ATC 中，我只是在等待那个要求再做一件事的电话。

> 声明：本文素材来源于网络，仅供学习使用，如有侵权请联系网站删除(ngdcn_admin@163.com)。