当前位置：首页 > 行业动态 > 正文

【阿里】利用带内流量分析器 (IFA) 在阿里巴巴部署高精度拥塞控制 (HPCC++)

行业动态
2022-10-24
2653
更新：2022-10-24 18:57:47

> 来源：https://www.broadcom.com/blog/high-precision-congestion-control
> 2022 年 10 月 20 日

在当今和未来的高速网络中，越来越多的应用程序要求超低延迟和高带宽。首先，随着最近在高性能计算设备（例如，GPU 和 ASIC）和存储介质方面的硅创新，端到端的性能瓶颈正在转移到网络上。其次，当应用程序向高扩展性（例如，具有一万个 GPU 的 AI/ML 工作负载）和高效（例如，具有每秒数百万 I/O 和数十微秒响应时间的存储工作负载）的方向发展时，它们越来越多。对性能异常敏感。第三，资源分解是数据中心的常态，涉及计算、存储甚至内存，这对网络的要求更高。

<center>图1：阿里云EBS架构
</center>

以存储应用为例。

传统的数据中心网络无法很好地扩展以适应上述所有方面。为此，阿里巴巴正在构建可预测的网络，下一代数据中心网络架构，以满足不断发展的应用需求。它背后的核心思想之一是利用网络设备提供的精确实时信息来执行及时有效的操作。我们在构建不同的网络堆栈层时整合了这一想法，包括[应用程序协同设计](https://dl.acm.org/doi/abs/10.1145/3544216.3544238)1、[传输协议](https://dl.acm.org/doi/10.1145/3341302.3342085)2、[网络结构](https://dl.acm.org/doi/10.1145/3544216.3544241)3和[可编程芯片](https://dl.acm.org/doi/10.1145/3387514.3406214)4。

在本文中，我们详细阐述了传输协议方面，阿里巴巴与博通和其他行业参与者合作开发了一种新的创新 CC 机制，称为 RoCEv2 网络的高精度拥塞控制 (HPCC++)。HPCC++ 通过快速收敛以利用可用带宽同时避免拥塞并保持接近零的网络内队列以实现超低延迟，从而实现可预测的传输性能。

#### 什么是高精度拥塞控制 (HPCC++)？

拥塞控制（CC）是实现超低延迟和高吞吐量目标的关键。但是传统的CC机制存在一些限制。HPCC 使用基于带内遥测的探针来获取精确的链路负载信息并精确控制流量。与通常需要大量迭代才能找到合适流速的现有方法不同，HPCC++ 在大多数情况下只需要一个速率更新步骤。在 HPCC++ 中，CC 算法旨在限制和控制繁忙链路的总飞行字节数，防止发送方发送额外流量，即使反馈延迟。

#### HPCC++ 提供以下优势

◼ 发件人可以快速提高流量以实现高利用率或降低流量以避免拥塞

◼ 发送方可以快速调整流量，使每条链路的输入速率略低于链路的容量，防止队列堆积并保留高链路利用率

◼ 由于发送速率是根据交换机上的直接测量精确计算的，HPCC++ 只需要 3 个独立的参数来调整公平性和效率

◼ 理论上保证稳定和公平

◼ 满足在大规模高速网络中同时实现超低时延、高带宽和高稳定性的目标

◼ 一种足够简单的 CC 算法，可以在商品 NIC 硬件和商品交换机硬件上实现

#### 什么是带内流量分析仪 (IFA)？

带内遥测是关于在不涉及控制平面的情况下从数据平面中的每一跳收集遥测数据。Broadcom 的带内遥测解决方案称为带内流量分析器 (IFA)，它完全在开关芯片内部实施。作为硬件卸载解决方案，IFA 在涵盖超大规模网络、服务提供商网络和企业网络的行业领先交换产品组合上提供云级带内遥测解决方案。

IFA 支持基于探针的端到端遥测收集，以灵活且可扩展的方式启用 HPCC++ 等用例。IFA 探测是在源 NIC 处启动或在数据包流的入口交换机处生成的专用数据包。IFA 探测数据包预计将通过与目标实时数据包相同的路径。Broadcom 交换机能够克隆符合标准（例如五元组）和用户配置的采样率的实时流量。IFA 探测器以累积方式从每个跃点收集每跳遥测数据，从而使最后一个交换节点能够将一份包含所有跃点的遥测数据的报告传送到远程收集器。

#### IFA 在每跳的基础上提供以下遥测数据

◼ 交换机 ID

◼ 入口时间戳

◼ 出口时间戳

◼ 入口端口

◼ 出口端口

◼ 队列 ID

◼ 发送字节

◼ 队列深度

HPCC++ 利用 IFA 元数据，尤其是 Queue-Id、Tx-Bytes 和 Queue-Depth 来获取精确的链路负载信息并在需要时更新 RoCEv2 流量。

IFA 支持探测和实时流量的遥测收集。阿里的 HPCC++ 部署使用了 IFA 探测包。

图 2 说明了 IFA 探测数据包如何由始发服务器发送以接收来自网络的每跳遥测数据。

#### 阿里巴巴HPCC++部署经验

阿里云已经为弹性块存储（EBS）、人工智能训练和数据库应用部署了 HPCC++。在 EBS 中，HPCC++ 在大约 20 万台服务器内的大约 100 个计算集群和 1000 个存储集群中运行。通过部署，EBS带宽吞吐量提升约30%，平均端到端时延降低10%。在存储集群内运行的 RDMA 网络的延迟平均减少了约 30%，尾部延迟减少了 80%。通过在我们的 EBS 集群中启用 HPCC++，阿里云已经成功地在 2021 年双十一期间基本消除了拥塞引发的丢包。

> 声明：本文素材来源于网络，仅供学习使用，如有侵权请联系网站删除(ngdcn_admin@163.com)。由于本人水平有限，如有纰漏，请以参考文献文章为准。