当前位置：首页 > 云 & 计算 > 正文

圣地亚哥超级计算中心的InfiniBand 3D Torus 拓扑

云 & 计算
2022-12-15
2253
更新：2023-02-23 21:52:33

圣地亚哥超级计算中心Gordon超级计算机是响应美国国家科学基金会 (NSF) 部署“数据密集型”计算机的号召而建造的。考虑到这一点，*Gordon*旨在运行跨越基因组学、图形问题、地球物理学和数据挖掘等领域的数据密集型应用程序。科学研究将包括分析个体基因组以针对特定患者定制药物，开发更准确的模型以预测地震对建筑物和其他结构的影响，以及模拟以更深入地了解地球气候正在发生的事情。

## Gordon超级计算机的能力

SDSC Gordon集群由超过 1,000 个基于英特尔至强处理器 E5 系列的计算节点组成。这台超级计算机还采用了许多独特的功能来提供它为运行而构建的数据密集型应用程序。这些功能之一是通过 64 个 I/O 节点非常快速地访问存储，这些节点包含通过 InfiniBand 结构连接的 300TB 高性能 SSD 基于闪存的内存。这种闪存将有助于加快对传统上受速度较慢的基于磁盘的存储限制的存储的访问。这种快速存储的一个好处是可以处理许多数据密集型领域中出现的海量图形，包括生物信息学、社交网络和神经科学。在这些应用程序中，大型数据库可以加载到闪存中并以比驻留在磁盘上低得多的延迟进行查询。

这些 I/O 节点中的每一个都能够处理超过 560K IOPS，或整个系统的 35M IOPS，SDSC 认为它是 NSF 在 I/O 操作方面有史以来最快的超级计算机。相比之下，闪存容量足以存储整个 100,000 部 Netflix 电影目录（并且还有剩余空间），并且速度足以在一秒钟内传送 200 多部 Netflix 电影。

*Gordon*集群的另一个独特概念是“超级节点”架构。每个*Gordon*超级节点由 32 个 HPC 计算节点组成，每个节点能够达到 240 GFLOPS 和 64 GB RAM。每个超级节点还包含上面详述的 2 个高速 I/O 节点。当通过虚拟共享内存连接在一起时，系统的 32 个超级节点中的每一个都具有 7.7 TFLOP 计算能力和 10 TB 内存的潜力。集群的另一个好处是超级节点的使用是完全可编程的，因此可以将节点分配为传统的 HPC 节点、超级节点或两者的组合。

## 3D Torus拓扑

*SDSC 选择为Gordon*部署 3D Torus 拓扑fabric。在 3D Torus 和替代拓扑之间进行选择时需要考虑一些因素，但在某些集群中，3D Torus 的关键特性使其成为一个不错的选择。将 3D Torus 与其他拓扑进行比较时，最常考虑的替代方案是胖树拓扑，这是当今 InfiniBand 结构最常用的拓扑。使用胖树拓扑结构，每个节点对集群中的每个其他节点都有相等的访问带宽。Fat-tree 是运行大型应用程序的绝佳拓扑，其中节点彼此进行大量通信，例如，大型 MPI 作业。相比之下，3D Torus 拓扑最适用于在本地化计算节点之间使用通信的应用程序，因为这种局部性通常是使用Torus实现最佳性能的要求。*Gordon*，以及这些应用程序的性质，在许多情况下，应用程序内会采用本地化约束，从性能的角度来看，3D Torus 架构是有意义的。

使用 3D Torus 拓扑还有其他优势，使其对某些安装具有吸引力。一般来说，集群的布线可以更简单，也可以使用更短的电缆来构建集群。这提供了具有成本效益、功率高效和弹性的设计。此外，如果需要未来扩展，只需很少的重新布线即可添加 3D Torus。Torus的两端简单地断开连接，添加服务器，然后在端点重新连接Torus。

## 3D Torus实施

为了构建他们的 3D Torus 网络，SDSC 依赖于 Mellanox Technologies 的 InfiniBand 硬件和软件。3D Torus 是使用 4x4x4 配置中的 36 端口交换机节点构建的，总共有 64 个Torus连接点。这些连接点中的每一个都连接到 16 个计算节点和 2 个 IO 节点，节点间链路在 +/- X、Y 和 Z 方向的每个方向上使用 3 个交换机端口。利用 40G b/s QDR 技术，这可以在每个方向上提供超过 12 GB/s 的带宽。该集群还采用了双轨技术，这意味着每个服务器中都装有两个独立的 HCA，并且每个 HCA 都连接到一个单独的 4x4x4 环形网络。这为应用程序提供了双倍的服务器吞吐量，或超过 7 GB/s 的网络注入速率。

<center>图 1 4x4x4 3D-Torus 逻辑部署图</center>

Mellanox 使用一种称为“Torus-2QOS”的独特算法来提供通过交换结构的数据包路由配置。该算法最初由桑迪亚国家实验室开发，基于直接有序路由 (DOR) 路由原则，但具有能够处理Torus环路布线特性的独特能力，并且还提供一定水平的服务质量(QOS) 在圆环内。QOS 很重要，因为它允许不同的流量类型或服务级别，它们自己的专用网络资源不会干扰来自其他服务级别的流量。*这在像Gordon*这样的集群中特别有用，因为来自 IO 节点的存储流量可以在它们自己的计算流量服务级别上运行，从而为这些流量类型中的每一种提供它们自己的网络资源集，它们不会相互干扰。

部署的 Torus-2QOS 算法还具有许多高级功能，包括其弹性级别。路由的设置方式使其可以“自我修复”并绕过多条电缆故障以及整个交换机故障重新路由。这种重新路由是由管理结构的子网管理实体自动完成的，并且是独立完成的，并且不知道在结构上运行的应用程序。

虽然 3D Torus 算法的细节和互通超出了本文的范围，但从简单的概念角度来看，交换网络中采用了单独的“虚拟结构”，应用程序使用它来避免上面讨论的信用循环。例如，在圆环的每个平面上都绘制了一条数据线，如果数据包穿过这条数据线，它们将运行与未穿过数据线的数据包不同的“虚拟结构”。以这种方式，Torus上不会形成环路。应用程序需要知道在与另一台服务器通信时要使用的正确“虚拟结构”。由于InfiniBand采用集中管理方案，每当建立到另一台服务器的连接时，应用程序从这个集中式管理器获得“虚拟结构”信息是一个相当简单的过程。由于大多数应用程序无论如何都使用此机制，因此无需更改应用程序即可使用 3D Torus。

## 3D TORUS 与 INFINIBAND 的未来

Mellanox 部署在集群上的软件现在是行业标准，并且是开源社区 Open Fabric 堆栈的一部分。这包括子网管理路由算法、管理工具和在 3D Torus 拓扑上运行的应用程序支持。圣地亚哥超级计算*Gordon*集群表明，使用 InfiniBand 运行 3D Torus 拓扑是可行和实用的。它还展示了 InfiniBand 能够根据超级计算机的性能目标、架构和成本目标运行不同拓扑的能力和灵活性。

> <span style="font-style: italic;">声明：本文素材来源于网络，仅供学习使用，如有侵权请联系网站删除(ngdcn_admin@163.com)。</span>