当前位置：首页 > RDMA > 正文

【思科】Cisco Nexus 9300 上的 RDMA over Converged Ethernet (RoCE)

RDMA
2022-11-03
5139
更新：2022-11-04 09:56:39

> 作者：Jerome Tissieres

[在上一篇文章中，我为网络工程师介绍了 NVMe、NVMe-oF 和 RDMA。](https://ngdcn.com/post/130.html)在这篇文章中，我将讨论基于融合以太网的 RDMA (RoCE)，更具体地说，如何在 Cisco Nexus 9300 系列上实施和配置 RoCEv2 的 QoS 部分。

## 什么是 RoCE？

RDMA over Converged Ethernet（RoCE – 发音为“Rocky”）是一种网络协议，允许通过以太网进行远程直接内存访问 (RDMA)。它通过在以太网上封装 InfiniBand 传输数据包来实现这一点。有两种不同的 RoCE 版本：

◼ **RoCEv1** – 以太网链路层协议（Ethertype 0x8915），允许同一以太网广播域中的任意两台主机之间进行通信。因此，仅第 2 层，不可路由。

◼ **RoCEv2** – 使用 UDP/IP（IPv4 或 IPv6）标头增强 RoCEv1，因此增加了第 3 层可路由性。RoCEv2 也称为可路由 RoCE。

如果您想了解更多关于 RDMA 的信息，[可以在此处找到 NVMe、NVMe-oF 和 RDMA 的介绍。](https://ngdcn.com/post/130.html)

要使用 RoCE，您需要在源（服务器）和目标（存储）主机上具有支持 RDMA 的以太网 NIC (rNIC)。

## RoCEv2 数据包详细信息

◼ RoCEv2 协议存在于 UDP/IPv4 或 UDP/IPv6 协议之上。

◼ 使用 UDP 众所周知的目标端口号：默认情况下为 4791。

◼ UDP 源端口用作不透明的流标识符，网络基础设施可以将其用于数据包转发优化，例如等价多路径 (ECMP)。

◼ 虽然一般不保证 UDP 数据包的传送顺序，但 RoCEv2 规范要求具有相同 UDP 源端口和相同目标地址的数据包不得重新排序。

◼ 此外，RoCEv2 定义了使用 IP ECN 位进行标记的拥塞控制机制。

## RoCEv2 数据包格式

## 如何在网络上支持 RoCEv2

RoCEv2 网络结构应使用各种智能拥塞控制技术来消除传统以太网网络的潜在丢包和高延迟。目标是为 RoCEv2 分布式应用程序提供零丢包、低延迟和高吞吐量的网络，满足这些应用程序的严格性能要求。这包括：

### 802.1Qbb 策略流控制 (PFC)

PFC 也称为基于类的流量控制 (CBFC) 或按优先级暂停 (PPP)，是一种防止由于拥塞而导致的帧丢失的机制。PFC 类似于 802.3x 流控制（暂停帧）或链路级流控制 (LFC)。但是，**PFC 是基于每个服务等级 (CoS) 运行的**：当由于拥塞而超过缓冲区阈值时，802.3x 流控制或 LFC 会向其对等方发送暂停帧，以暂停链路上的所有数据传输一段时间。指定的时间段。当拥塞缓解时，当流量低于配置的阈值时，将生成恢复帧以重新启动链路上的数据传输。

相反，在拥塞期间，**PFC 会发送一个暂停帧，指示需要暂停哪个 CoS 值**。PFC 暂停帧包含每个 CoS 的 2 个八位字节的计时器值，指示流量需要暂停的时间长度。计时器的时间单位在暂停量中指定。一个 quanta 是以端口的速度传输 512 位所需的时间。取值范围为 0 到 65535。暂停量为 0 的暂停帧表示恢复帧以重新启动暂停的流量。PFC 通过向众所周知的多播地址发送暂停帧来要求对等方停止发送具有特定 CoS 值的帧。这个暂停帧是一个单跳帧，被对端接收时不转发。当拥塞缓解时，PFC 可以请求对等方重新开始传输帧。

正如我们在下面看到的，使用 PFC，我们必须能够通过仅向一个（或一些）队列发送暂停帧而不影响其他队列来在同一条以太网线上同时具有无损和有损优先级：

要记住的重要一点是：PFC 是逐跳传播的。PFC 帧从经历拥塞的节点向发送者发送。例如，从一台交换机到另一台交换机，然后从一台交换机到服务器的网卡。

### 802.1Qaz 增强传输选择 (ETS)

使用 ETS，为每个 CoS 分配特定的带宽。它可以防止单个流量类别“占用”所有带宽并饿死其他类别。当给定负载没有充分利用其分配的带宽时，其他类也可以使用它。

### 数据中心桥接控制协议 (DCBX) – 802.1Qaz [可选]

DCBX 在支持 DCB 的对等设备之间协商以太网功能：PFC、ETC、CoS 值。这不是强制性的，但可以简化管理。DCBX 只是带有新 TLV 字段的 LLDP。

### 802.1Qau 显式拥塞通知 (ECN)

ECN 是 WRED 的扩展，当平均队列长度超过特定阈值时，它标记数据包而不是丢弃它们。当配置了 WRED ECN 功能时，交换机、路由器和终端主机使用此标记作为网络拥塞的信号，以减慢发送数据包的速度。
PFC 通过每跳行为执行，有时可能需要比其他行为更多的时间来将拥塞信息传播给发送者。使用 ECN，任何网络设备上的拥塞都会立即传播到端点，并且流量会在任何遇到拥塞的网络设备上进行标记。

在拥塞的情况下，网络设备用 ECN Congestion Encountered (0x11) 重新标记数据包，但不向发送者发送任何内容。重新标记的数据包到达目的地，目的地向发送方发送通知以减少流量。

ECN 使用 IPv4 或 IPv6 标头中流量类别字段的两个最低有效（最右边）位来编码四个不同的代码点：

0x00 – 不支持 ECN 的传输 (Non-ECT)
0x10 – 支持 ECN 的传输 0 (ECT-0)
0x01 – 支持 ECN 的传输 1 (ECT-1)
0x11 – 遇到拥塞 (CE)

当两个端点都支持 ECN 时，它们用 ECT-0 或 ECT-1 标记它们的数据包。网络设备将 ECT-0 (0x10) 和 ECT-1 (0x01) 标记视为等效。如果数据包穿过一个正在经历拥塞的活动队列管理队列（使用 RED 或 WRED 的队列）并且相应的路由器支持 ECN，它可能会将代码点更改为 CE（0x11）而不是丢弃数据包。在接收端点，该拥塞指示被回显给发送节点，以便向其发送信号以降低其传输速率。

>  *注意：并非所有 RoCE 以太网适配器 (rNIC) 都支持 ECN 进行拥塞控制，但从 ConnectX-4 开始的所有 Mellanox 适配器都支持。*

PFC 正在第 2 层网络上工作。对于第 3 层，我们需要使用 ECN。这意味着路径上的所有路由器和交换机都需要支持 ECN。

### 一起使用 PFC 和 ECN

为了在不断变化的动态网络环境中获得最佳 RDMA 性能，可以同时使用 PFC 和 ECN。在这种情况下，可以使用 ECN 轻松缓解由 incast 等流量模式引起的拥塞，因为数据路径拥塞中任何地方都存在的功能会通过信号通知端点。但是，如果在靠近端点的地方遇到拥塞，并且是由发送方的突发应用程序引起的，PFC 会通过减慢发送方的速度来有效地缓解和管理拥塞。在 PFC 和 ECN 一起使用的情况下，ECN 应该是主要的拥塞管理机制，而 PFC 应该是故障保护机制。
RoCE 也可以仅使用 PFC 或使用高级 RoCE 适配器（例如 Mellanox 的那些适配器）仅使用 ECN 进行部署。仅使用 PFC 或 ECN 即可满足普通应用的性能，但通常仅通过耦合 PFC 和 ECN 才能获得最高性能。

## Nexus 9300 系列 QoS 详细信息

让我们看看有关 Cisco Nexus 9300 系列的服务质量部分的一些详细信息。

### RoCEv1/v2 支持和许可

◼ NX-OS 模式下的 Cisco Nexus 9300 系列交换机本机支持通过融合以太网 (RoCE) V.1 和 V.2 协议传输 RDMA。它**不需要**特定的许可证。

### Cisco Nexus 9300 QoS 黄金规则

◼ QoS 默认启用，无法禁用。

◼ CoS 和 DSCP 默认受信任。

◼ 使用 QoS 组将策略绑定在一起。

◼ 排队和 QoS 策略应用于物理接口或系统级别。

◼ PFC-auto 是接口的默认 PFC 状态。

### NX-OS 上的 PFC 配置

您可以基于每个端口配置 PFC，以启用活动网络 QoS 策略定义的 CoS 的不丢弃行为。

配置在接口级别完成：

```
switch(config)# interface ethernet 7/5
switch(config-if)# priority-flow-control mode [auto|off|on]
```

PFC 可以配置为以下模式之一：

◼ **auto [默认]** — 启用由 DCBX 协议通告并与对等方协商的无丢弃 CoS 值。成功的协商会在无丢弃 CoS 上启用 PFC。由于对等点的能力不匹配而导致的任何故障都会导致 PFC 无法启用。

◼ **on** — 在本地端口上启用 PFC，而不考虑对等方的能力。

◼ **off** — 禁用本地端口上的 PFC。

### PFC风暴

主机上出现故障的 NIC 可能无法接收来自网络的任何流量，并不断向交换机发送 PFC 暂停帧。由于无损交换机路径在缓冲区填满时不会丢弃数据包而是拒绝接收更多数据包，因此如果端端口队列长时间卡住，则缓冲区不仅会填满目标交换机，还会填满所有有问题的交换机流量转发路径中的端口队列。这会导致在通往流量源的路径上的所有交换机端口上观察到无休止的 PFC 暂停帧，也称为 PFC 风暴。

### Nexus 9000 上的 PFC 看门狗 (PFCWD)

为了缓解这种情况，可以在 Nexus 交换机上使用 PFC 看门狗来防止拥塞。当交换机在任何出口队列上检测到这种情况时，队列中的所有数据包都会被刷新，并且发往同一队列的新数据包也会被丢弃，直到 PFC 风暴解除。当然，使用此解决方案我们会丢失一些数据包，但只是暂时的。如果没有这个机制，这个队列的流量会一直阻塞，直到故障网卡重启或更换。

可以在全局或接口级别进行配置。

以下是在全局级别配置的命令示例：

```
switch(config)# priority-flow-control watch-dog-internal on
```

以下是在接口级别配置的命令示例：

```
switch(config)# interface ethernet 7/5
switch(config-if)# priority-flow-control watch-dog-interval on
```

您可能需要配置不同的看门狗定时器，具体取决于您的需要。

您可以通过以下命令查看当前 PFCWD 状态：

```
switch# show queuing pfc-queue detail

slot 1
=======
Initting block addresses
+----------------------------------------------------+
Global watch-dog interval [Disabled]
Forced Global watch-dog [Disabled]
+----------------------------------------------------+
+----------------------------------------------------+
Global PFC watchdog configuration details
PFC watch-dog poll interval : 100 ms
PFC watch-dog shutdown multiplier : 1
PFC watch-dog auto-restore multiplier : 10
PFC watch-dog fixed-restore multiplier : 0
PFC watchdog internal-interface multiplier : 2
+----------------------------------------------------+
```

## Nexus RoCEv2 QoS 配置示例

这是 NX-OS 版本 9.2(x) 下 Nexus 9300 系列配置的示例。

### 标记和分类部分

首先，让我们做一个 QoS 类映射来匹配 DSCP 26 / CoS 3 标记的 RoCE 数据包：

```
class-map type qos match-all ROCE_CLASS
 match cos 3
 match dscp 26
```

COS 和 DCSP 值可能因供应商文档和实施而异。您必须根据主机 rNIC 和存储配置调整此分类。
例如，此处的 DSCP 26 是 Mellanox NIC 配置页面中使用的示例，请参阅本文底部的参考链接。

然后，我们创建一个 QoS 策略映射，将这个类映射分配给 qos-group。这是分类部分：

```
policy-map type qos ROCE_POLICY
 class ROCE_CLASS
 set qos-group 3
```

### 排队部分

QoS 队列策略映射以确保 RoCE 流量的带宽（RoCE 流量设置为 qos-group 3，映射到 c-out-8q-q3）：

```
policy-map type queuing ROCE_QUEUING_OUT
 class type queuing c-out-8q-q3
  bandwidth remaining percent 50
  random-detect minimum-threshold 150 kbytes maximum-threshold 3000 kbytes drop-probability 7 weight 0 ecn 
 class type queuing c-out-8q-q2
  bandwidth remaining percent 0
 class type queuing c-out-8q-q1
  bandwidth remaining percent 0
 class type queuing c-out-8q-q-default
  bandwidth remaining percent 50
!
```

ECN 参数可按队列级别配置。但是 ECN 与 WRED 一起默认是禁用的，这就是为什么我们在 WRED 行的末尾指定“ecn”的原因。

此配置的结果是：

◼ 如果数据包阈值低于缓冲区使用的最小值（此处为 150 KB）：在没有 ECN 标记的情况下传输。

◼ 最小和最大之间的数据包阈值（缓冲区使用量在 150KB 和 3000KB 之间）：用 ECN 位随机标记数据包（概率为 7）。

◼ 如果数据包阈值高于最大值（此处为 3000 KB）：使用 ECN 标记每个流量。

重要提示：此处的最小和最大缓冲区的值取决于您的环境。这只是一个配置示例。您需要测试和微调这些值。

用于识别 RoCE 流量以实现无丢弃的 QoS 网络类：

```
class-map type network-qos ROCE_NETWORK_CLASS
 match qos-group 3
```

### QoS网络策略部分

将 JUMBO MTU 和不丢弃（暂停）设置为 RoCE 流量的 QoS 网络策略：

```
policy-map type network-qos ROCE_NETWORK_POLICY
 class type network-qos ROCE_NETWORK_CLASS
  pause pfc-cos 3
  mtu 9216
 class type network-qos c-8q-nq-default
  mtu 9216
```

此处的命令“pause pfc-cos 3”用于定义如果交换机接收到 PFC，我们将在哪个 COS 上发送 PFC 信号。

将创建的 no-drop 策略应用到系统：

```
system qos
 service-policy type network-qos ROCE_NETWORK_POLICY
```

### 接口配置部分

将分类策略应用于入口接口，将排队策略应用于出口接口。
在这里，我们还强制 PFC 开启（此处以接口以太网 1/1 为例）：

```
interface Ethernet1/1
 priority-flow-control mode on
 service-policy type qos input ROCE_POLICY
 service-policy type queuing output ROCE_QUEUING_OUT
```

### 可选 PFC 看门狗部分

最后但同样重要的是，我们可以全局启用 PFC 看门狗：

```
priority-flow-control watch-dog-interval on
```

## 主机配置
主机配置细节如下。
### PFC 和 RoCEv2 配置

NIC 配置取决于 NIC 供应商和版本……

以下是 Mellanox Connect-X NIC 的示例：[Mellanox Lossless RoCE Configuration for Linux Drivers in DSCP-Based QoS Mode](https://community.mellanox.com/s/article/lossless-roce-configuration-for-linux-drivers-in-dscp-based-qos-mode)

重要提示：在 NIC 上应用的 DSCP/COS 值必须与 Cisco 分类配置匹配（例如此处的 DSCP = 26 / ToS Dec. = 104）。

### ECN 配置

要在主机上配置 ECN，ECN 上的 Wikipedia 页面包含有用信息（正在实施中）：[WikiPedia – Explicit Congestion Notification](https://en.wikipedia.org/wiki/Explicit_Congestion_Notification)

对于 Linux 上的 Mellanox ConnectX-4，在此页面上：[如何为 ConnectX-4 (Linux) 配置 DCQCN (RoCE CC) 值](https://community.mellanox.com/s/article/howto-configure-dcqcn--roce-cc--values-for-connectx-4--linux-x)

### 数据中心桥接控制协议 (DCBX) 主机配置

另一种解决方案是使用数据中心桥接控制协议 (DCBX)。在这种情况下，rNIC 和交换机必须启用 DCBX，然后在 rNIC 和交换机之间协商 PFC、DSCP/CoS 值和 ECN 设置。同样，支持 DCBX 的 NIC 配置取决于 NIC 供应商和版本。

## 故障排除和调试

### 网络侧

在交换机上，这是我们可以执行的检查列表：

检查接口上 PFC 的状态（应在面向接口的主机上强制打开）：

```
show interface priority-flow-control
```

查看应用在接口上的策略映射的详细信息：

```
show policy-map interface e1/7
```

通过接口查看排队统计信息：

```
show queuing interface e1/7
```

并查看 PFC 看门狗状态和计数器，全局或通过接口：

```
show queuing pfc-queue [interface] [ethernet|ii] [detail]
```

接下来，一个好的故障排除技术是对探测的流量进行 SPAN（或 E/RSPAN）。这是一个 RoCEv2 数据包的 Wireshark 输出的摘录：

正如我们在这里看到的，DSCP 标记对应于我们上面定义的 (DSCP 26/AF31)。我们还可以看到目标端口 4791 的 UDP 封装，然后是下面的 InfiniBand 部分。

### 主机端

需要记住的重要一点是：由于 RDMA 流量绕过内核，因此无法使用 tcpdump、wireshark 或其他类似工具对其进行监控。除非 NIC 能够监控这种流量。

对于 NVIDIA/Mellanox ConnectX 卡，有一个特殊标志可以使用 ethtool 激活。你可以在这里找到一个很好的例子：[https ://community.mellanox.com/s/article/how-to-dump-rdma-traffic-using-the-inbox-tcpdump-tool–connectx-4-x](https://community.mellanox.com/s/article/how-to-dump-rdma-traffic-using-the-inbox-tcpdump-tool--connectx-4-x)

有了这个，我们可以使用普通的 tcpdump 命令查看 RoCE 流量，例如：

```
# tcpdump -i enp5s0 dst 10.10.10.120
listening on enp5s0, link-type EN10MB (Ethernet), capture size 262144 bytes
10:47:39.820296 IP 10.10.10.10.64404 > 10.10.10.120.4791: UDP, length 80
10:47:39.820492 IP 10.10.10.10.64404 > 10.10.10.120.4791: UDP, length 20
10:47:39.820494 IP 10.10.10.10.64404 > 10.10.10.120.4791: UDP, length 20
10:47:40.818968 IP 10.10.10.10.53771 > 10.10.10.120.4791: UDP, length 80
10:47:40.819046 IP 10.10.10.10.53771 > 10.10.10.120.4791: UDP, length 20
10:47:40.819048 IP 10.10.10.10.53771 > 10.10.10.120.4791: UDP, length 20
10:47:41.819429 IP 10.10.10.10.62079 > 10.10.10.120.4791: UDP, length 80
10:47:41.819527 IP 10.10.10.10.62079 > 10.10.10.120.4791: UDP, length 20
```

## 参考资料和阅读更多

◼ [Mellanox 推荐的 RoCE 部署网络配置示例](https://community.mellanox.com/s/article/recommended-network-configuration-examples-for-roce-deployment)

◼ [使用 Cisco Nexus 9000 和 Cisco ACI 白皮书满足非易失性内存快速 (NVMe) 存储的网络要求](https://www.cisco.com/c/en/us/products/collateral/switches/nexus-9000-series-switches/white-paper-c11-743772.html)

◼ [Mellanox RoCE v2 注意事项](https://community.mellanox.com/s/article/roce-v2-considerations)

◼ [Cisco Nexus 9000 系列 NX-OS 服务质量配置指南，版本 9.2(x)](https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/sw/92x/qos/configuration/guide/b-cisco-nexus-9000-nx-os-quality-of-service-configuration-guide-92x.html)

◼ [Cisco Nexus 9000 系列 NX-OS 服务质量配置指南，版本 9.3(x)](https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/sw/93x/qos/configuration/guide/b-cisco-nexus-9000-nx-os-quality-of-service-configuration-guide-93x.html)

◼ [阿里巴巴HPCC白皮书：高精度拥塞控制](https://liyuliang001.github.io/publications/hpcc.pdf)

◼ [微软白皮书：基于商品以太网的大规模 RDMA](https://www.microsoft.com/en-us/research/wp-content/uploads/2016/11/rdma_sigcomm2016.pdf)

◼ [Mellanox 弹性 RoCE 简介 – 有损网络上的 RoCE 流量](https://community.mellanox.com/s/article/introduction-to-resilient-roce---faq)

◼ [Mellanox RoCE 成功案例和部署指南 ](https://community.mellanox.com/s/article/roce-success-cases-and-deployment-guides)

◼ [Cisco Nexus 9000 系列交换机上的思科智能缓冲区管理（AFD 和 DPP）白皮书](https://www.cisco.com/c/en/us/products/collateral/switches/nexus-9000-series-switches/white-paper-c11-738488.html)

---

> 声明：本文素材来源于网络，仅供学习使用，如有侵权请联系网站删除(ngdcn_admin@163.com)。