当前位置：首页 > 交换机 > 正文

【华为】RoCEv2智能流量分析

交换机
2022-11-06
4295
更新：2022-11-06 09:47:26

当前HPC高性能计算、分布式存储、AI人工智能等应用采用RoCEv2网络替代传统的TCP/IP网络，来降低CPU的处理和延迟，提升应用的性能。然而，这些分布式高性能应用的特点是“多打一”的Incast流量模型，对于以太交换机，Incast流量易造成交换机内部队列缓存的瞬时突发拥塞甚至丢包，将会带来应用时延的增加和吞吐的下降，从而损害分布式应用的性能。因此，针对RoCEv2流量实现的智能流量分析功能，将对设备经过的RoCEv2流量通过ACL匹配特征报文，上送至TAP后分析其丢包、时延、吞吐和路径信息，实时监控RoCEv2网络状态。

## 基本概念

RDMA（Remote Direct Memory Access），远程直接内存访问功能，用于InfiniBand网络，是一种直接内存访问技术，它将数据直接从一台计算机的内存传输到另一台计算机，数据从一个系统快速移动到远程系统存储器中，无需双方操作系统的介入，不需要经过处理器耗时的处理，最终达到高带宽、低延迟和低资源利用率的效果。

RoCE（RDMA over Converged Ethernet），允许应用通过以太网实现远程内存访问的网络协议，是将RDMA技术运用到以太网上的协议。目前RoCE有两个协议版本，RoCEv1和RoCEv2。

<span>◼ </span>RoCEv1是一种链路层协议，允许在同一个广播域下的任意两台主机直接访问。

<span>◼ </span>RoCEv2是一种网络层协议，可以实现路由功能，允许不同广播域下的主机通过三层访问。RoCEv2是基于UDP协议封装的，报文格式如图1所示。

<div align="center"> <img src="https://ngdcn.com/zb_users/upload/2022/11/rocev2_traffic/fig1.jpg"/> </div>

<center>图1 RoCEv2报文格式</center>

<span>   </span><span>✸ </span>Ethernet header：以太报文头，包括源MAC地址和目的MAC地址。

<span>   </span><span>✸ </span>IP header：IP报文头，包括源IP地址和目的IP地址。

<span>◼ </span>UDP Header：UDP报文头，包括源端口号和目的端口号，其中目的端口号为4791。

<span>   </span><span>✸ </span>InfiniBand Base Transport Header：InfiniBand传输层的头部字段。包含进行智能流量分析的关键字段，具体请见表1。

<span>   </span><span>✸ </span>IB Payload：消息负载。

<span>   </span><span>✸ </span>ICRC和FCS：分别对应冗余检测和帧校验。

**表1** InfiniBand Base Transport Header的主要字段

| 字段      | 描述                                                         |
| --------- | ------------------------------------------------------------ |
| Opcode    | 表示RoCEv2的报文类型，指出报文处于什么操作模式，主要包括：ConnectMsg模式：此时报文用于建立RoCEv2连接，简称CM（Communication Management）建链。建链成功后，本端和远端之间才能传递数据报文。Send模式：此时报文用于发给远端，发送端不控制接收端在哪存储数据。Write模式：此时报文用于写入远端，报文中会指定远端要写入数据的地址、key（关键值）和数据长度。Read模式：此时报文用于远端读取，报文中会指定远端请求读取数据的地址、key和数据长度。检测吞吐时将对Send、Write和Read模式的RoCEv2报文进行分析。ACK（Acknowledge）模式：此时报文用于接收端反馈应答消息，依据RoCEv2 ACK报文特有的ACK Extended Transport Header的内容，可以将ACK报文分为两种：普通ACK报文，表示信息成功接收的响应信息。NAK报文，表示出现了丢包。此外，ACK报文与最后一个Send报文结合可以用来检测数据报文的时延。 |
| Pad Count | 表示有多少额外字节被填充到InfiniBand PayLoad中。             |
| Dest QP   | Destination Queue Pair，目的QP，用来标识一条RoCEv2流，相当于RoCEv2报文中的目的端口Dport（Destination port），也是智能流量分析模块用来建立RoCEv2流表的关键值。 |
| PSN       | Packet Sequence Number，表示RoCEv2报文的序列号，可通过检测PSN是否连续来判断是否存在丢失的数据包，若出现了丢包，就会返回NAK报文。 |

其中CM建链的过程如图2所示，ConnectMsg模式的RoCEv2报文有三种类型：

<div align="center"> <img src="https://ngdcn.com/zb_users/upload/2022/11/rocev2_traffic/fig2.jpg"/> </div>

<center>图2 CM建链的过程</center>

<span>◼ </span>Connect Request：由客户端发送给服务器，请求建立RoCEv2连接。

<span>   </span><span>✸ </span>Connect Reply：服务器收到请求后，返回该报文给客户端，客户端收到后即认为与对端已经建立了连接。

<span>   </span><span>✸ </span>ReadyToUse：客户端认为连接建立后，发送该报文给服务器，服务器收到后，CM建链成功。

**说明**：RDMA的建链方式有两种：一种是基于RoCE报文的CM建链；一种是基于TCP报文自定义字段的TCP建链。目前，RoCEv2智能流量分析功能支持对CM建链报文和适用于公有云Fusion storage的TCP建链报文进行建流分析。由于后者的流分析过程与前者基本一致，且属于用户自定义内容，本节只对公共的CM建链方式进行介绍。

## RoCEv2流匹配

<span>◼ </span>**TDE上的流匹配**

RoCEv2智能流量分析模块提供了两种智能流量分析功能：丢包可视和性能可视。RoCEv2网络中，最重要的是需要保证网络流量0丢包，所以丢包可视的RoCEv2智能流量分析功能需要监控设备经过的所有RoCEv2流量。当出现丢包时，根据丢包业务流的基本信息，比如源IP、目的IP、报文入端口等，再结合性能可视的RoCEv2智能流量分析功能，去确认该丢包流量的时延、吞吐等高精度流量信息，从而快速准确的定位故障。

性能可视的RoCEv2智能流量分析模块在设备的入端口采集流量时，设备会识别报文的UDP端口号和Opcode字段，同时支持根据用户下发的ACL规则对经过设备的流量进行匹配，匹配通过的RoCEv2流将被镜像并上传给TAP。RoCEv2智能流量分析不支持的ACL规则会无法下发，导致TAP收不到匹配通过的业务流。

同时，TDE会根据用户下发的ACL规则，内部下发匹配回程业务流的ACL规则，将往返路径的业务流均上送给TAP，使TAP可以分析出往返方向的高精度流特征信息。

对于丢包可视的RoCEv2智能流量分析模块，由于监测网络中的RoCEv2丢包情况，需要对端口经过的所有RoCEv2流量进行监测，因此不支持用户自定义下发ACL规则匹配特定的RoCEv2流量。使能丢包可视的RoCEv2智能流量分析功能后，TDE会自动下发ACL规则，匹配端口经过的所有RoCEv2流量。

<span>◼ </span>**TAP上的流匹配**

TAP对上传来的RoCEv2流进行分析，目前仅支持对普通IPv4 RoCEv2报文进行分析，否则会将该报文丢弃，如果超过了其处理能力也丢弃。

## RoCEv2流分析

设备上使能RoCEv2智能流量分析功能后，TDE会自动下发ACL匹配RoCEv2报文中的Opcode字段来捕获RoCEv2报文。通过Opcode字段，可以获知报文类型，TAP会依据RoCEv2建链报文中的四元组信息等关键值形成一条条的流，从而组成一个流表。

**说明**：由于依赖RoCEv2建链报文进行流表生成，为了保障智能流量分析的效果，请先使能RoCEv2智能流量分析功能，再建立RoCEv2连接。

得到流表以后，TAP根据TDE后续上送的RoCEv2数据报文，对流表中的一些关键字段进行统计，根据统计结果可以分析出RoCEv2流特征信息。

流表中的统计内容支持在设备上查看，同时该统计结果会在流老化后输出至TDA，进一步的展示和分析。

<span>◼ </span>**四元组建流**

RoCEv2智能流量分析支持对RoCEv2建链报文按照四元组建流。四元组能够唯一确定一个RoCEv2会话，建流的四个关键值见下表。

**表2** RoCEv2流表Key（关键值）

| 流表Key  | 说明                                                         |
| -------- | ------------------------------------------------------------ |
| ServerIP | 指定RoCEv2流的服务器IP地址。目前仅支持IPv4地址。             |
| ClientIP | 指定RoCEv2流的客户端IP地址。目前仅支持IPv4地址。             |
| ClientQP | 指定客户端的QP值。该值存在于从服务器返回的RoCEv2流的Dest QP字段中。 |
| ServerQP | 指定服务器的QP值。该值存在于从客户端发出的RoCEv2流的Dest QP字段中。 |

<span>◼ </span>**流表特征信息**

建立RoCEv2智能流量分析流表后，TAP会根据后续的RoCEv2数据报文统计流表中的字段，分析该流的特征信息。建议配置1588v2功能，提高RoCEv2智能流量分析功能分析的特征信息的精度。

**说明**：除M-LAG和堆叠场景外，RoCEv2智能流量分析功能需要网络中RoCEv2报文往返方向路径一致。

TAP能够分析的主要特征信息如表3所示。

**表3** RoCEv2智能流量分析流特征信息

| 特征信息 | 详细内容                                                     |
| -------- | ------------------------------------------------------------ |
| 丢包     | 支持分别统计往返方向的RoCEv2流中NAK报文的数量，当值不为0时，说明发生了丢包。当RoCEv2报文出现丢包后，TAP会记录丢包情况，添加时间戳信息后将丢包信息上送给TDA。 |
| 时延     | 支持分别统计双向的报文往返时延RTT（Round Trip Time），该时延为基于双向报文计算的滑动平均时延，精度为纳秒级。 |
| 吞吐     | 支持统计单位时间内Rocev2流的吞吐率。对于RoCEv2报文来说，只有大流可以计算吞吐率，小流的Rocev2报文无法计算出对应的吞吐信息。 |
| 路径     | 支持统计RoCEv2报文的入端口信息并上送到TDA，全网配置RoCEv2智能流量分析功能后，即可在TDA上看到相应的RoCEv2流在网络中的实际路径。**说明：**监测网络中的RoCEv2流的路径需要全网配置RoCEv2智能流量分析功能。 |

## 路径不一致时的RoCEv2流分析

数据中心网络的接入可靠性，一般通过接入端网关堆叠或M-LAG双活来实现，因此针对这两种场景下的RoCEv2流也实现了智能流量分析功能。由于对于堆叠和M-LAG场景的处理方式基本一致，本节主要介绍接入端为M-LAG双活网关的情况下，RoCEv2智能流量分析功能的实现过程。

<div align="center"> <img src="https://ngdcn.com/zb_users/upload/2022/11/rocev2_traffic/fig3.jpg"/> </div>

<center> 图3 M-LAG双归接入时的RoCEv2智能流量分析
</center>

如图3所示，RoCEv2网络中，全网部署RoCEv2智能流量分析功能，Leaf1与Leaf2、Leaf3与Leaf4均为M-LAG双活网关。从VM1发往VM3的RoCEv2报文路径为：VM1->Leaf1->Spine1->Leaf4->VM3；从VM3返回的RoCEv2报文路径为：VM3->Leaf3->Spine1->Leaf2->VM1。为了保障该RoCEv2的双向报文特征信息均能输出给TDA，需要Leaf2和Leaf1之间进行数据同步，Leaf3和Leaf4之间进行数据同步。以Leaf2和Leaf1为例，该同步过程为：

1、 在Leaf2上使能RoCEv2智能流量分析功能后，Leaf2会自动下发ACL匹配RoCEv2报文中的Opcode字段来捕获RoCEv2报文。通过Opcode字段，可以获知报文类型。

2、 当匹配到Connect Reply报文后，Leaf2会通过peer-link口（若为堆叠场景，则为堆叠口），将该Connect Reply报文转发给Leaf1。

3、 Leaf1收到后，会将该Reply报文和其他建链信息一起处理后同步给Leaf2，这样Leaf1和Leaf2上都可以建立RoCEv2双向流表，并对后续经过的RoCEv2数据报文的丢包、时延、吞吐和路径进行分析。

**说明**：为了保证不会对报文进行重复分析，RoCEv2智能流量分析功能中，M-LAG成员设备或堆叠成员设备不会对来自peer-link口或堆叠口的RoCEv2报文进行建流或分析。

4、 当Leaf2上匹配到ACK模式的RoCEv2数据报文时，Leaf2会通过peer-link口将该ACK报文转发给Leaf1。

5、 Leaf1根据ACK报文可以检测是否出现丢包，结合Send报文可以对数据报文的时延进行分析。

6、 Leaf1和Leaf2上的双向流表满足老化条件后，输出至TDA。

## RoCEv2流输出

TAP依据TDE上送的RoCEv2报文建立流表后，还需要把包含流分析结果的RoCEv2智能流量分析流表输出给指定的TDA，才能完成流信息的进一步加工和可视化。RoCEv2智能流量分析功能的流输出与TCP智能流量分析功能的流输出基本一致。

不同的是，RoCEv2智能流量分析功能仅支持以下两种流老化方式：

<span>◼ </span>活跃流的老化

当一条智能流量分析流的活跃时间（从流创建时间到当前的时间）超过所设置的活跃老化时间时，设备认为该流处于活跃状态：

<span>   </span><span>✸ </span>该流将被周期性输出到TDA，输出周期正是设置的活跃老化时间。

<span>   </span><span>✸ </span>由于一旦检测到NAK报文数量的值不为0时即说明出现了丢包，当到达活跃老化时间后，TAP还会将流表中的NAK报文的统计信息删除，为下一个活跃老化周期内的丢包检测做准备。

<span>   </span><span>✸ </span>若流表中的时延或吞吐信息在某个活跃老化周期内的统计信息不再变化，TAP会将该统计信息删除，在下一个活跃老化周期内重新进行统计。

<span>◼ </span>非活跃流的老化

由于网络上的流是短时间阵发的，在短时间内就会产生大量的流，而TAP的缓存空间容量是一定的，当一条RoCEv2智能流量分析流的非活跃时间（从流最后一个报文流过时间到当前的时间）超过所设置的非活跃老化时间时，设备认为该流处于非活跃状态（流已经断了），这样就需要把当前的流表输出至TDA并从缓存空间中删除，为后面到来的流提供空间，这个过程称为非活跃流老化。

该种老化方式主用于短时流量，流量停止则立即输出流表信息，节省内存空间。

\*内容来源：华为CloudEngine交换机配置指南.

> <span style="font-style: italic;">声明：本文素材来源于网络，仅供学习使用，如有侵权请联系网站删除(ngdcn_admin@163.com)。</span>

华为 RoCE 流量分析

本文由 @NGDCN 于2022-11-06发布在未来网络技术网，如有疑问，请联系我们(ngdcn_admin@163.com)。

上一篇：【阿里】阿里云推出ModelScope平台及新解决方案，降低实现业务创新的门槛

下一篇：【金士顿】什么是 NVMe SSD 技术？

有话要说...