当前位置：首页 > 云 & 计算 > 正文

【超算】超级计算机中的超级互连

云 & 计算
2022-11-01
1977
更新：2022-11-27 21:57:06

超级计算机是我们进行研究、实现科学发现、设计新产品和开发自学软件算法所需的基本工具。超级计算领导力意味着科学领导力，这解释了许多政府和研究机构为构建更快、更强大的超级计算平台所做的投资。

超级计算机的核心是将计算元素连接在一起的网络，可实现并行和同步计算周期。在过去的几十年里，创造了多种网络技术，也有多种消失了。InfiniBand 是 1999 年制定的行业标准，继续在高性能计算市场表现出强大的影响力。它在 2013 年连接了三大超级计算机之一，并为未来制定了强大的路线图。

许多 10 年和 15 年前存在的专有网络如今已不再使用；QsNet、Myrinet、Seastar 只是几个例子。QSNet技术后来被Gnodal使用，增加以太网网关组成以太网交换机网络，但其发展在几年前就停止了。第一代 Slingshot 正在使用该技术和概念的一部分。Slingshot 计划取代以前专有的 Aries 技术，后者取代 Gemini 的专有技术，后者取代 Seastar。专有网络的主要缺点之一是它需要一次又一次地重新构建旧概念——例如拥塞控制、路由方案等概念。

作为基于标准的互连，InfiniBand 享有不断开发的新功能、更好的性能和可扩展性。它被用于世界上许多领先的超级计算机，展示了 96% 的网络利用率和可能是最先进的自适应路由功能（“CORAL Pre-Exascale 系统的设计、部署和评估”），并为要求最苛刻的高计算密集型应用程序。

**InfiniBand 技术可分为三个主要支柱：连接、网络和通信**。连接支柱是指互连基础设施周围的元素，例如拓扑。网络支柱指的是例如网络传输和路由。通信支柱是指与通信框架相关的协同设计元素，例如 MPI、SHMEM/PGAS 等。

## **连接支柱**

InfiniBand 被指定和设计为最终的软件定义网络。人们可以从一个集中的地方定义和管理网络的完整路由方案，而且一切都是可编程的。这一优势支持任何互连拓扑并优化拓扑以最好地满足应用程序和工作负载的需求。当今的许多超级计算机都使用 Fat Tree 拓扑，因为它提供低延迟并有效支持各种应用程序。有一些 Torus 拓扑正在使用中，最适合模板应用程序。其他拓扑结构，包括 Hypercube、Enhanced Hypercube、Dragonfly+ 等，将在未来推出。

Dragonfly+ 是基于传统 Dragonfly 的混合拓扑，并使用 Fat Tree 的特性进行了扩展，提供了两者的优势。它包括完全渐进式自适应路由技术，在相同成本下比 Dragonfly 更具可扩展性，并且能够在各种流量模式下为等效的 Dragonfly 和 Fat Tree 拓扑提供相同或更好的吞吐量（“Dragonfly+：用于扩展数据中心的低成本拓扑， ” Alexander Shpiner、Zachy Haramaty、Saar Eliad、Vladimir Zdornov、Barak Gafni 和 Eitan Zahavi）。

此外，传统的 Dragonfly 存在对抗流量的性能限制，因为在一个组内，从入口交换机到出口交换机只有一条路线。因此，网络带宽会随着交换机基数的增加而降低。交换机上的端口越多，数据吞吐量越低。InfiniBand Dragonfly+ 包括从入口交换机到出口交换机的多条路由，从而提供最高的数据吞吐量。此外，由于其混合设计，Dragonfly+ 可以随着时间的推移简单地扩展，而无需重新布线任何长电缆——这是优于 Fat Trees 和传统 Dragonfly 网络的优势。

多主机技术通过将 PCIe 接口分成多个独立的接口，使多个主机能够连接到单个互连适配器，而不会降低性能。通过将多条电缆、网络适配器和交换机端口的 CAPEX 要求减少到每个只有一个，以及通过减少交换机端口管理和总体功耗来降低 OPEX，从而降低数据中心的总拥有成本 (TCO) .

## **网络支柱**

InfiniBand 是一种纯粹的卸载互连，在网络级别管理所有网络功能和传输，并且不会像以太网或 OmniPath 等其他网络那样对 CPU 施加开销。这导致更多的 CPU 周期专用于应用程序以及更高的整体性能和可扩展性。

在许多网络中，管理软件实用程序负责接收网络错误通知并修改网络路由或更改作业调度以避免错误。但这可能很耗时——对于 1000 个节点大约需要 5 秒，对于具有 10000 个或更多端点的集群大约需要 30 秒——速度肯定不足以确保运行计算的无缝完整性。事实上，没有任何软件机制可以在非常大的范围内做出足够的响应来检测和修复遭受链接故障的结构。为了解决这个问题，InfiniBand 包括一个名为 SHIELD（智能数据中心的自我修复互连增强）的创新解决方案，它利用了 InfiniBand 交换机中已经内置的智能。通过为织物提供自我修复的自主性，面对链路故障时纠正通信的速度可以提高 5000 倍。这足够快，可以避免昂贵的重传或绝对失败的通信。

## **通信支柱**

Mellanox Scalable Hierarchical Aggregation and Reduction Protocol (SHARP)™ 技术包含在 EDR 和 HDR InfiniBand 交换机中。SHARP 通过将集体操作从 CPU 卸载到交换机网络，并消除在端点之间多次发送数据的需要，改进了 MPI 操作的性能。这种创新方法减少了到达聚合节点时遍历网络的数据量，并显着减少了 MPI 操作时间。在网络中实施集体通信算法还有其他好处，例如释放宝贵的 CPU 资源用于计算，而不是使用它们来处理通信。

与其他选项相比，SHARP 为数据聚合和缩减操作（例如 MPI Reduce、All-Reduce、Barrier、Broadcast 等）提供更低且平坦的延迟，因此向计算集群添加更多节点不会产生不利影响。SHARP 也是实现 Exascale 超级计算一代的最佳技术。

此外，SHARP 还为深度学习和人工智能应用提供关键性能增强。例如，SHARP 与领先的 GPU 和 NVIDIA Collective Communications Library (NCCL) 的结合提供了领先的效率和可扩展性。

另一项新技术是 SNAP（软件定义网络加速处理），它可以实现 PCIe 设备的硬件虚拟化，例如 NVMe 存储。NVMe SNAP 框架允许用户轻松地将网络存储解决方案集成到他们的高性能计算和存储基础架构中。它支持计算和存储的有效分解，以促进完全优化的资源利用。

NVMe SNAP 在逻辑上将网络存储（例如 NVMe over Fabrics (NVMe-oF)）呈现为本地 NVMe 驱动器。这允许主机操作系统使用标准的 NVMe 驱动程序而不是远程网络存储协议。主机受益于本地 NVMe 存储的性能和简单性，而不知道 NVMe SNAP 正在使用和虚拟化远程 InfiniBand 连接存储。

此外，SNAP 可以将复杂的逻辑和数据保护机制（镜像、压缩、重复数据删除、自动精简配置、加密等）应用于它虚拟化为本地 NVMe 的网络存储。

## **超级连接 #1 超级计算机**

通过提供领先的数据吞吐量、极低的延迟，以及最重要的网络内计算引擎和完全可编程性，InfiniBand 是计算密集型应用、高性能计算、深度学习和其他应用的领先互连技术。InfiniBand 超越专有网络并加速全球许多顶级超级计算机。

参考资料：

https://www.hpcwire.com/2019/06/10/super-connecting-the-supercomputers/

> <span style="font-style: italic;">声明：本文素材来源于网络，仅供学习使用，如有侵权请联系网站删除(ngdcn_admin@163.com)。</span>

超算