当前位置：首页 > 云 & 计算 > 正文

【超算】超级计算机中的超级连接——通过网络拓扑进行创新

云 & 计算
2022-11-26
4475
更新：2022-11-27 22:06:16

文章[“ 【超算】超级计算机中的超级互连 ”](https://ngdcn.com/post/191.html)中，我们讨论了不同的互连支柱，即连接支柱、网络支柱和通信支柱。“连接支柱”指的是互连基础设施周围的元素，例如网络拓扑。“网络支柱”指的是例如网络传输和路由。而“通信支柱”是指与通信框架相关的协同设计元素，例如 MPI、SHMEM/PGAS 等。本文主要关注第一个支柱，尤其是网络拓扑。

超级计算的创新实际上是从超级计算机的结构开始的，这可能是最大的秘密之一；也就是说，以我们将计算元素连接在一起的方式。有许多网络拓扑选项，而 InfiniBand 被指定和设计为最终的软件定义网络，可以支持任何可以想到的选项。

Fat-Tree（折叠 CLOS）是使用最广泛的拓扑之一。它是各种应用程序的一个很好的选择，因为它提供低延迟并支持各种吞吐量选项——从非阻塞连接到超额订阅。这种拓扑类型最大限度地提高了各种流量模式的数据吞吐量；然而，由于它需要大量的交换机和链路，因此在大规模情况下成本相对较高。Torus 拓扑在 k 维晶格中直接将主机互连到它的几个邻居。Tori 拓扑成本低廉，但为对手流量模式提供低网络吞吐量。环面是模板应用的绝佳拓扑结构，例如晶格 QCD 应用，但由于其阻塞特性和更高的延迟，对于需要支持各种应用程序的超级计算机来说，它不是首选。当前使用或正在开发以供将来使用的其他选项的示例包括 Hypercube 和 HyperX。

Dragonfly拓扑由 Kim John 等人介绍。并在题为“Technology-driven, highly-scalable dragonfly topology”的论文中进行了描述。Dragonfly 为各种应用程序（或通信模式）提供了良好的性能，如 Fat-Tree；具体来说，与其他拓扑相比，它通过减少长链接的数量来降低网络成本。

如图 2 所示，Dragonfly 基于连接的计算元素组，其中所有组都连接在一个完整的图形中。可以创建任何内部组结构，例如全图 (Dragonfly)、广义hypercube  (GHC) 或胖树，如图 3 所示。

<div align="center"> <img src="https://ngdcn.com/zb_users/upload/2022/11/super_computer/topology.png"/> </div>
<center>图 2 – Dragonfly拓扑</center>

<div align="center"> <img src="https://ngdcn.com/zb_users/upload/2022/11/super_computer/dragonfly.png"/> </div>
<center>图 3 – Dragonfly组选项</center>

多年来，完整图形选项已用于部署在专有网络中的传统 Dragonfly 拓扑。由 InfiniBand 支持的新型创新 Dragonfly+ (DF+) 拓扑正在使用 Fat-Tree 选项。与传统的 Dragonfly 相比，Dragonfly+ 更具可扩展性，因为它允许将更多主机连接到网络（当比较相同的交换机基数时），它为相同数量的全局组间链路提供更好的最坏情况吞吐量，并且它可以更好地利用交换机缓冲区。

Bogdan Prisacari 、German Rodriguez、Marina Garcia、Cyriel Minkenberg（IBM 研究院 - 苏黎世）和 Enrique Vallejo、Ramon Beivide（坎塔布里亚大学*，*西班牙）; 或者“*在Dragonfly拓扑上建模 UGAL”*，作者：Scott Pakin、Michael Lang（洛斯阿拉莫斯国家实验室）和 Atiqul Mollah、Peyman Faizian、Shafayat Rahman、Xin Yuan（佛罗里达州立大学）指出了传统Dragonfly的一些性能限制，例如作为对抗性流量的性能下降，以及使用更高的开关基数时网络带宽如何受到负面影响。

另一方面，创新的 Dragonfly+ 支持从入口交换机到出口交换机的多条路由，因此，由于组内的 Fat Tree 拓扑，可提供最高的数据吞吐量（不依赖于交换机基数）。这为大型超级计算平台提供了优于传统 Dragonfly 拓扑的选项。

多伦多大学率先部署了大型 InfiniBand Dragonfly+ 超级计算机，该超级计算机已投产近 1.5 年。图 4 中出现的 Niagara 超级计算机是加拿大最强大的研究超级计算机。

<div align="center"> <img src="https://ngdcn.com/zb_users/upload/2022/11/super_computer/niagara_topology.jpg"/> </div>
<center>图 4 – Niagara 超级计算机和 Dragonfly+ 拓扑</center>

Dragonfly+ 的另一个优势是能够随着时间的推移扩展集群，而无需重新布线任何长电缆，从而允许添加新的组，无论是计算还是存储。这是 Fat-Tree 和传统 Dragonfly 拓扑都不支持的优势，它为多阶段超级计算机提供了巨大的好处，并支持随着时间的推移不断增长的计算机或存储需求。

Dragonfly+的优势使其成为新一代大规模超算的首选拓扑。例如，芬兰 IT 科学中心 CSC 是一家为芬兰学术界、研究机构、公共部门和工业提供超级计算和网络服务的国家 HPC 中心，已为其下一代超级计算机选择了 Dragonfly+ InfiniBand 拓扑。我们期待听到更多关于采用创新 Dragonfly+ 拓扑的新型大型超级计算机在世界各地的发布。

参考资料：https://www.hpcwire.com/2019/07/15/super-connecting-the-supercomputers-innovations-through-network-topologies/

> <span style="font-style: italic;">声明：本文素材来源于网络，仅供学习使用，如有侵权请联系网站删除(ngdcn_admin@163.com)。</span>