当前位置：首页 > RDMA > 正文

【Infiniband手册】第5章：数据报文格式

RDMA
2022-10-23
6430
更新：2022-10-26 11:06:57

本章介绍数据包中的字段。每个字段的简要说明包括定义、字段大小和缩写。本章不详细说明每个字段的详细信息，只说明字段的一般用法和布局格式。

除了数据包外，IBA还定义了用于链路级流量控制的链路包。这些链路包的格式在**7.9.4流控制包**中描述。

在本说明书中，术语分组仅指数据分组(即分组和数据分组同义)。在打算提及链路分组的情况下，将使用完整的术语链路分组。

# 5.1 数据包类型

数据包是IBA中传输的单位。如**3.3通信堆栈**所述，消息被CA分割成包，以便在IB Fabric上传输。

数据包具有以下属性：

<span>◼ </span>不可分割的数据传输和路由单元

<span>◼ </span>确认单元

<span>◼ </span>消息分段和重新组装单元

<span>◼ </span>链路级流控制单元

在数据包中使用的两种一般传输类型：

<span>◼ </span>**IBA数据包**具有IBA定义的传输报文头，在IBA Fabric上路由，并使用原生/native IBA传输设施。

<span>◼ </span>**原始数据包(Raw** **Packets)**可以在IBA Fabric上路由，但不包含IBA传输报文头。从IB的角度来看，这些包只包含IBA路由报文头、有效载荷和CRC。IBA没有定义在链路层和网络层之上对这些包的处理。其目的是这些数据包可用于支持在IB Fabric上进行的非IBA传输。

# 5.2 数据包格式

整体数据包结构如图45所示。在传输标头和有效负载之前**有两个路由标头(也叫报文头、报文头，下同)：

<span>◼ </span>所有数据包都需要**本地路由标头**

<span>◼ </span>所有要路由到不同子网的数据包和所有多播数据包都需要**全局路由标头**，而不考虑目的地。

<span>◼ </span>全局路由报文头可以放在除子网管理数据包之外的任何数据包上。

**C5-1**：InfiniBand设备生成的数据包应符合图45中定义的数据包结构和**图46**中定义的数据包报文头位置和大小要求，每个IBA数据包以一个不变的CRC结尾，后跟一个可变CRC。每个原始数据包以一个可变CRC结束。

IBA包结构如**图46**所示(注：虚框内表示可选的部分)。

## 5.2.1 本地路由报文头(LRH)—8字节

**C5-2**：InfiniBand设备生成的数据包应符合**表4**中定义的LRH的数据包头格式。

本地路由报文头(LRH)包含IBA子网内交换机用于本地路由的字段。下表总结了LRH中的字段：

LRH字段在**7.7本地路由报文头**中完全定义。

## 5.2.2 全局路由报文头(GRH)-40字节

**C5-3**：InfiniBand设备生成的数据包应符合表5中定义的GRH的数据包头格式。

全局路由报文头(GRH)包含在**子网之间路由数据包**的字段。**GRH的存在由LRH中的Link Next Header(LNH)字段指示**。GRH的布局与RFC2460中定义的IPv6报文头相同。但是，请注意，IBA没有定义设备GID和IPv6地址之间的关系(即，没有为任何IB设备或端口定义GID和IPv6地址之间的映射)。

下表总结了GRH中的字段。

## 5.2.3 基本传输报文头(BTH)—12字节

**C5-4**：InfiniBand设备生成的数据包应符合表6中定义的BTH的数据包头格式。

基本传输标头(BTH)包含**IBA传输**的字段。BTH的存在由最后一个上一个报文头的下一个报文头字段表示(即LRH:LNH或GRH:NxtHdr，下一个取决于上一个报文头是什么)。下表汇总了BTH中的字段：

基本传输报文头字段的详细定义见**9.2节**。

## 5.2.4 可靠数据报扩展传输报文头(RDETH)—4字节

**o5-1**：由支持可靠数据报的InfiniBand设备生成的数据包应符合表7中定义的RDETH报文头的数据包头格式。

可靠数据报扩展传输报文头(RDETH)包含**可靠数据报服务**的附加传输字段。**RDETH只存在于由基本传输标头操作码字段(OpCode字段，参加上图红框)指示的可靠数据报包中**。下表总结了RDETH中的字段：

可靠数据报扩展传输报文头的详细定义见**第9.3.1节“可靠数据报扩展传输报文头(RDETH)-4字节”**。

## 5.2.5 数据报扩展传输报文头(DETH)—8字节

**C5-5**：InfiniBand设备生成的数据包应符合表8中定义的DETH的数据包头格式。

数据报扩展传输报文头(DETH)包含**数据报服务**的附加传输字段。如果由基本传输报文头操作码字段指示，则DETH仅在数据报包中。下表总结了DETH中的字段：

数据报扩展传输报文头的详细定义见**第9.3.2节“数据报扩展传输报文头(DETH)-8字节”**。

## 5.2.6 RDMA扩展传输报文头(RETH)—16字节

**o5-2**：由支持RDMA操作的InfiniBand设备生成的数据包应符合表9中定义的RETH数据包头格式。

RDMA扩展传输报文头(RETH)包含**RDMA操作**的附加传输字段。**RETH只存在于RDMA请求的第一个(或唯一)数据包中，如基本传输报文头操作码字段所示**。下表总结了RETH中的字段：

RDMA扩展传输报文头的详细定义见**9.3.3节“RDMA扩展传输报文头(RETH)-16字节”**。

## 5.2.7 原子扩展传输报文头(ATOMICETH)-28字节

**o5-3**：支持原子操作的InfiniBand设备生成的数据包应符合表10中定义的AtomicETH报文头的数据包头格式。

原子扩展传输报文头(AtomicETH)包含**原子数据包**的附加传输字段。AtomicETH只在基本传输报文头操作码字段指示的原子数据包中。下表总结了AtomicETH中的字段：

原子扩展传输报文头的详细定义见**第9.3.4节“原子扩展传输报文头(AtomicETH)-28字节”**。

## 5.2.8 XRC扩展传输报文头(XRCETH)

XRC扩展传输报文头(XRCETH)包含目标XRC SRQ标识符。

**o5-3.a1**：如果CA实现XRC传输服务，则在生成请求包时，发送方应按照**第5.2.8节“XRC扩展传输报文头(XRCETH)”**中的描述设置XRCETH字段。

## 5.2.9 ACK扩展传输报文头(AETH)—4字节

**C5-6**：InfiniBand设备生成的数据包应符合**表12**中定义的AETH的数据包头格式。

ACK扩展传输报文头(AETH)包含ACK数据包的附加传输字段。AETH仅在应答/Acknowledge、RDMA READ Response First、RDMA READ Response Last和RDMA READ Response only数据包中，如Base Transport Header Opcode字段所示。(ACK Extended Transport Header (AETH) contains the additional transport fields for ACK packets. The AETH is only in Acknowledge, RDMA READ Response First, RDMA READ Response Last, and RDMA READ Response Only packets as indicated by the Base Transport Header Opcode field. The following table summarizes the fields in the AETH.)下表汇总了AETH中的字段。

ACK扩展传输报文头的详细定义见**第9.3.5节**。

## 5.2.10 原子ACK扩展传输报文头—8字节

**o5-4**：由支持原子操作的InfiniBand设备生成的数据包应符合表13中定义的ATOMICACKETH的数据包头格式。

Atomic ACK扩展传输报文头(AtomicAckETH)包含**Atomic ACK包**的附加传输字段。**AtomicAck ETH只在由基本传输报文头操作码字段指示的原子应答包中**。下表总结了AtomicAckETH中的字段：

原子ACK扩展传输报文头的详细定义见**第9.3.5.3节****。

## 5.2.11 立即数据扩展传输报文头(IMMDT)—4字节

立即数据扩展传输报文头(IMMDT)包含放置在接收完成队列元素(CQE)中的附加数据。如果由基本传输报文头操作码指示，**ImmDt只在发送或RDMA写入数据包中使用即时数据**。

立即数据扩展传输报文头的详细定义见**第9.3.6节**。

注意，术语Immediate Data Extended Transport Header和Immediate Data Header在本规范中是同义的。

## 5.2.12 失效扩展传输报文头(IETH)-4字节

失效扩展传输报文头(IETH)包含一个R_Key段，一旦接收到并执行SEND with INVALIDATE请求，响应程序将使用该字段使内存区域或内存窗口失效。

无效扩展传输报文头的详细定义见**第9.3.7节**。

## 5.2.13 Payload

有效载荷(PYLD)包含端到端传输的应用数据。负载在RDMA读取请求、Acknowledge、CmpSwp、FetchAdd和原子确认数据包中不存在。它可选地存在于其它分组操作码中。

**C5-7**：有效载荷的长度应为0或更多字节，直至全路径MTU。

**C5-8**：IBA报文中包含有效载荷的所有数据包**应将**有效载荷填充至完整路径MTU，但最后一个(或唯一)报文包除外。

**C5-9**：在使用InfiniBand传输的数据包中，0-3字节的Pad字段应包含在数据包中，并用于将有效负载与4字节的倍数对齐(即，有效负载加上Pad字段的大小始终是4字节的倍数)。给定分组中使用的Pad字段的实际大小应在分组的基本传输报文头PadCnt字段中指示。

## 5.2.14 不变CRC——4字节

不变CRC(ICRC)覆盖从源到目的的包中不发生变化的字段。ICRC只存在于IBA数据包中，而不存在于原始数据包中(Raw Packets)。ICRC覆盖哪些字段取决于GRH是否存在。

不变CRC的详细定义见**第7.8.1节**。

## 5.2.15 可变CRC —— 2字节

可变CRC(VCRC)涵盖了各个链路之间可以改变的字段。VCRC在所有数据包中，包括IBA和原始数据包。VCRC可在Fabric中重新生成。

可变CRC的详细定义见**第7.8.2节**。

# 5.3 原始数据包格式(Raw Packet Format)

原始数据包是不使用IBA传输的数据包。如果在InfiniBand部分中不支持Raw包，则不支持Raw包。

**o5-5**：如果原始数据包包含IPv6路由报文头，则数据包结构应为：LRH、IPv6、有效载荷(包括任何传输报文头)和VCRC。如果原始数据包不包含IPv6路由报文头，则结构应为：LRH、RWH、Payload和VCRC。

**o5-6**：**RWH是一个32位的“原始头文件”**，应包含有效载荷的以太网类型。EtherType表示原始数据包的协议，并应符合IEEE类型字段注册器(IEEE Type Field Registrar)中的定义。(参见标准IEEE 802.31998第3.2.6条长度/类型字段规范和IEEE 802.1H-1995了解类型字段的使用。)

此“原始”数据包格式如图45所示。

**o5-7**：原始数据包的长度(从RWH之后到可变CRC之前)必须是4字节的倍数。

**o5-8**：原始标头的格式如图47所示。

# 5.4 数据包示例

IBA数据包的一些示例如图48所示。

> 参考资料：”IB Specification Vol 1-Release-1.3-2015-03-03.pdf”

> <span style="font-style: italic;">声明：本文禁止转载！素材来源于网络，仅供学习使用，如有侵权请联系网站删除(ngdcn_admin@163.com)。由于本人水平有限，如有纰漏，请以参考资料为准。</span>

Infiniband手册