当前位置：首页 > 行业动态 > 正文

【思科】使用 Cisco Silicon One 优化实际吞吐量

行业动态
2022-10-30
1707
更新：2022-10-31 07:24:59

> 作者：思科/Ofer Iny

交换机是网络数据平面的核心，任何交换机的核心都是缓冲子系统(buffering subsystem)。需要缓冲来处理网络中的瞬时超额订阅。缓冲区的大小决定了在丢弃数据包之前可以容纳多大的突发。**网络的吞吐量在很大程度上取决于丢弃了多少数据包。**

最佳性能所需的缓冲区量主要取决于流量模式和网络往返时间 (RTT)。

网络上运行的应用程序驱动流量模式，从而驱动交换机体验。现代应用程序（例如分布式存储系统、搜索、AI 训练和许多其他应用程序）采用分区和聚合语义(partition and aggregate semantics)，导致流量模式在创建大量超额订阅突发时特别有效。例如，考虑一个搜索查询，其中服务器接收数据包以发起搜索请求。通过数据进行挖掘的任务被分派到网络中的许多不同服务器。一旦每台服务器完成搜索，它就会将结果发送回发起方，从而导致针对单个服务器的大量流量。这种现象被称为incast。

## 往返时间/RTT

网络 RTT 是数据包从流量源到目的地并返回的时间。这很重要，因为它直接转换为在接收到发送数据的确认之前必须允许发送器发送到网络中的数据量。确认对于拥塞避免算法的工作是必要的，在传输控制协议 (TCP) 的情况下，以保证数据包的传递。

例如，通过 RTT 为 16us 的网络连接到具有 100Gbps 链路的网络的主机必须允许在接收确认之前发送至少 1.6Mb (16us * 100Gbps) 的数据(如果它希望能够以100Gbps)。在 TCP 协议中，这被称为拥塞窗口大小，对于流而言，它在理想情况下等于带宽延迟乘积。

交换机避免丢包所需的缓冲区量与此带宽延迟积直接相关。理想情况下，交换机内的队列应该有足够的缓冲区来容纳通过它的所有流的拥塞窗口的总和。这保证了突然的 incast 不会导致缓冲区溢出。对于 Internet 路由器，这种动态已转化为广泛使用的经验法则——每个端口都需要一个平均 RTT 乘以端口速率的缓冲区。但是，数据中心呈现出与 Internet 不同的环境。互联网路由器可以预期通过一个端口看到成千上万个流，其中大部分带宽分布在数千个流中，而数据中心交换机通常会看到大部分带宽分布在几个高带宽大象流上。因此，对于数据中心交换机，规则是端口最多需要整个交换机带宽（不仅仅是端口带宽）乘以平均 RTT。当然，在实践中，这可以通过注意这假设一个极其悲观的场景来放宽，即所有流量都以一个端口为目标。无论如何，一个关键的观察结果是总交换机缓冲区也是整个交换机带宽乘以平均 RTT，就像 Internet 路由器的情况一样。因此，最有效的交换机设计是交换机中的所有缓冲区都可以动态地用于任何端口。一个关键的观察结果是，总交换机缓冲区也是整个交换机带宽乘以平均 RTT，就像 Internet 路由器的情况一样。因此，最有效的交换机设计是交换机中的所有缓冲区都可以动态地用于任何端口。一个关键的观察结果是，总交换机缓冲区也是整个交换机带宽乘以平均 RTT，就像 Internet 路由器的情况一样。因此，最有效的交换机设计是交换机中的所有缓冲区都可以动态地用于任何端口。
<div align="center"> <img src="https://ngdcn.com/zb_users/upload/2022/10/silicon1_blog/memory_blog_figure1-1024x739.png"/> </div>
<center>图 1. 基于 RTT 的缓冲区需求</center>

为了帮助理解与网络相关的往返时间，让我们看一个简单的例子。RTT 是网络物理跨度、中间交换机延迟和端节点延迟（即网络适配器和软件堆栈）的函数。光以每公里约 5us 的速度穿过光纤，因此物理跨度的贡献很容易计算。例如，数据中心中两台主机之间的通信，每个方向的总光纤跨度为 500 米，将为 RTT 贡献 5us。通过开关的延迟由流水线（最小）延迟和缓冲延迟组成。

低延迟开关可以提供低于 1us 的流水线延迟。但是，这是基于流经设备的单个数据包的理想数字。在实践中，交换机有更多的数据包同时流过它们，并且对于来自不同来源的许多流，交换机中需要一些最小的缓冲。即使是 10KB 的小缓冲区也会通过 100Gbps 链路增加近 1us 的延迟。

最后，优化的网络适配器会增加至少 2 微秒的延迟，而且通常会更多。因此，将所有这些放在一起我们可以看到，即使是具有 500 米电缆跨度和三个交换跳的小型数据中心网络也会产生大约 16us 的最小 RTT。在实践中，网络通常从未如此理想，跳数更多，覆盖更远，RTT 更大。

<center>图 2. 简单数据中心网络 – 最小 RTT</center>

从上图可以看出，在一台 25.6T 交换机中支持 32us 的适度 RTT 需要高达 100MB。在这一点上需要注意的是，这既是交换机中所需的总缓冲区，也是任何一个端口所需的最大缓冲区。任何一个端口的最坏情况超额订阅是所有传入流量都针对一个端口。在这种病态的 incast 情况下，受害端口需要设备中的所有缓冲区来吸收突发。其他涉及多个受害端口的超额订阅流量模式将要求缓冲区与受害端口之间的超额系数成比例分布。

同样重要的是要注意其他协议，如远程直接内存访问 (RDMA) 使用的用户数据报协议 (UDP)，没有 TCP 中使用的拥塞反馈方案，它们依赖流量控制来防止数据包丢失在爆发期间。在这种情况下，缓冲区至关重要，因为它降低了触发流量控制的可能性，从而降低了阻塞的可能性并优化了整体网络吞吐量。

## 传统的缓冲架构

不幸的是，由于缓冲器必须处理极高的带宽，因此它需要集成在核心硅芯片上，这意味着无法再像我们在白皮书“ [Converged Web规模交换和路由成为现实：Cisco Silicon One 和 HBM 内存改变了范式](https://www.cisco.com/c/dam/en/us/solutions/collateral/silicon-one/white-paper-sp-hybrid-buffer-architecture.pdf)”。高带宽开关中的片上缓冲占用了大量的芯片面积，因此使用任何可以以最有效的方式在芯片上集成的缓冲器非常重要。

<center>图 3：DDR 存储器和以太网交换机的带宽增长</center>

超额订阅是一种不可预测的瞬态条件，会在不同的时间影响不同的端口。高效的缓冲区架构通过允许在端口之间动态共享缓冲区来利用这一点。

大多数现代架构都支持数据包缓冲区共享。然而，并非所有共享内存的声明都是平等的，因此供应商通常不会强调这一事实也就不足为奇了。通常对如何共享缓冲区有限制。缓冲区共享可以根据共享的级别和方向进行分类，如下图所示：
<div align="center"> <img src="https://ngdcn.com/zb_users/upload/2022/10/silicon1_blog/memory_blog_figure4-1024x612.png"/> </div>

<center>图 4. 每个输出端口组的共享缓冲区</center>

一组输出端口共享一个缓冲池。每个缓冲池吸收发往输出端口子集的流量。
<div align="center"> <img src="https://ngdcn.com/zb_users/upload/2022/10/silicon1_blog/memory_blog_figure5-1-1024x612.png"/> </div>

<center>图 5. 每个输入端口组的共享缓冲区</center>

一组输入端口共享一个缓冲池。每个缓冲池吸收来自输入端口子集的流量。
<div align="center"> <img src="https://ngdcn.com/zb_users/upload/2022/10/silicon1_blog/memory_blog_figure6-1024x1007.png"/> </div>

<center>图 6. 每个输入输出端口组的共享缓冲区</center>

一组输入和输出端口共享一个缓冲池。每个缓冲池为输出端口子集吸收来自输入端口子集的流量。

在对共享有限制的所有情况下，可用于端口突发吸收的缓冲区量是不可预测的，因为它取决于流量模式。

通过输出缓冲区共享，任何端口的突发吸收都被限制在单个池大小。例如，具有四个池的输出缓冲区架构意味着任何输出端口最多可以消耗总内存的 25%。在更复杂的流量模式下，这种限制可能会更加痛苦，如下图所示，其中输出端口被限制为总缓冲区的 1/16。这种限制使得 incast 下的缓冲行为不可预测。
<div align="center"> <img src="https://ngdcn.com/zb_users/upload/2022/10/silicon1_blog/memory_blog_figure7-1024x399.png"/> </div>

<center>图 7. 具有 4 x 2:1 超额订阅流量的输出缓冲交换机</center>

通过输入缓冲区共享，突发吸收取决于流量模式。例如，在缓冲区划分为四个池的 4:1 超额订阅流量模式中，突发吸收容量介于总内存的 25-100% 之间。
<div align="center"> <img src="https://ngdcn.com/zb_users/upload/2022/10/silicon1_blog/memory_blog_figure8-1024x402.png"/> </div>

<center>图 8. 4:1 超额订阅流量的输入缓冲区利用率</center>

输入-输出端口组共享，如输入缓冲区共享，通过设计将输出端口限制为总内存的一小部分。在四个池的示例中，任何一个端口都被设计限制为总设备缓冲区的一半。这种架构进一步根据流量模式限制缓冲区的使用，如下例所示，输出端口只能使用 12.5% 的设备缓冲区，而不是 50%。
<div align="center"> <img src="https://ngdcn.com/zb_users/upload/2022/10/silicon1_blog/memory_blog_figure9-1024x598.png"/> </div>

<center>图 9：具有 2 x 2:1 超额订阅流量的输入-输出端口组缓冲区架构</center>

Cisco Silicon One 采用完全共享的缓冲区架构，如下图所示：
<div align="center"> <img src="https://ngdcn.com/zb_users/upload/2022/10/silicon1_blog/memory_blog_figure10-1024x954.png"/> </div>

<center>图 10. Cisco Silicon One 完全共享缓冲区</center>

在完全共享缓冲区架构中，设备中的所有数据包缓冲区都可用于动态分配到任何端口，因此这意味着在所有输入-输出端口之间共享缓冲区而没有任何限制。这最大限度地提高了可用内存的效率，并使突发吸收容量可预测，因为它独立于流量模式。在上述示例中，完全共享架构产生的有效缓冲区大小至少是替代方案的四倍。这意味着，例如，一个 25.6T 交换机，如果它实现为完全共享的缓冲区，则每个设备和每个端口需要高达 100MB 的总缓冲区。为了达到相同的性能保证，将缓冲区分成四个池的部分共享缓冲区设计将需要四倍的内存。

完全共享缓冲区的效率增益也扩展到 RDMA 协议流量。RDMA 使用不依赖确认的 UDP。因此，RTT 并不是缓冲区需求的直接驱动因素。但是，RDMA 依靠基于优先级的流控制 (PFC) 来防止网络中的数据包丢失。流量控制的一个大缺点是它会阻塞，并且会通过停止不相关的端口而导致拥塞蔓延。完全共享的缓冲区通过在需要的时间和地点支持更多的缓冲，有助于最大限度地减少触发流控制的需要。或者换句话说，它提高了在触发流量控制之前需要发生多少拥塞的标准。

> 声明：本文素材来源于网络，仅供学习使用，如有侵权请联系网站删除(ngdcn_admin@163.com)。