当前位置：首页 > RDMA > 正文

【Infiniband手册】第8章：网络层

RDMA
2022-10-26
2775
更新：2022-10-26 11:06:26

# 8.1 概述

本章介绍IBA内部的网络层。在IBA分层体系结构中，该层负责在IBA子网之间路由分组。这包括单播和多播操作。本章规定了IBA子网之间的路由—它没有指定多协议路由，即在非IBA fabric类型上IBA路由，也没有指定如何在IBA子网之间路由原始数据包。

除**第8.4节“全局路由头用法”**外，本章本质上是信息性的(报告性质的)。因此，它没有规定IBA要求；请参阅**第19章：路由器**，了解IBA路由器的要求。IBA子网内的数据包转发由IBA交换机在链路层完成；有关IBA交换机的要求，请参阅**第18章：交换机**。

# 8.2 分组路由/Packet Routing

## 8.2.1 概述

IBA支持两层拓扑划分。**下层称为IBA子网**。利用IBA交换机在整个子网中转发数据包（将数据包从子网内的一个链路转发到另一个链路的过程称为交换）。数据包通过这一层的路径是由其注入到fabric中的点来定义的，在包中由LRH中的SLID字段和LRH中的DLID和SL字段标识。

**在更高层，子网使用路由器互连**（将数据包从一个子网转发到另一个子网的过程称为路由）。路由可以使用符合IBA规范的路由器来完成，也可以使用符合其他规范的路由器来完成（例如，利用因特网协议（IP）规范套件）。数据包通过的一系列子网不是由IBA定义的；但是，在全局路由报头中提供了几个字段，以使路由器能够做出这个决定。这些字段包括SGID、DGID、TClass和FlowLabel。此外，路由器可以使用来自其他报头的字段，例如LRH中的SL字段来确定到TClass的映射。不管在转发决策中使用什么机制，IBA都要求路径相对于SGID和DGID对称。这意味着，如果存在从SGID到DGID的有效路径，则IBA要求还存在一个有效路径，交换DGID和SGID的值。

IBA路由器的要求见**第19章：路由器**。利用IBA路由器互连IBA子网旨在保持子网间的IBA子网行为。

其他路由技术的使用超出了IBA的范围；但是，该体系结构是特意设计来实现这一功能的，特别是利用IETF rfc2460和其他相关IETF RFC指定的IP版本6。

全局IBA fabric由一个IBA子网或通过路由器互连的多个IBA子网组成。如上所述，该全局fabric还可以包括IBA子网之间的非IBA互连以及到非IBA fabric的网关。

## 8.2.2 全局Fabric特征

本节描述与IBA路由器专用互连的全局Fabric的特性。虽然超出了IBA的范围，但与非IBA技术互连的全局Fabric也可能表现出部分或全部这些特性。

### 8.2.2.1 子网要求的继承

除虚拟通道15子网管理数据包（由于子网管理发生在子网级别，这些数据包不传输到路由器）外，子网的所有数据包传输特征都由全局fabric继承。

### 8.2.2.2 包错误和错误检测

IBA指定附加到除原始数据包之外的所有IBA数据包的不变CRC（请参阅**第7.8.1节“不变CRC（ICRC）-4字节”**）。这个CRC覆盖了所有IBA包字段，这些字段不需要修改来影响IBA路由。端到端的数据完整性保证是通过在分组传输到全局fatric时保持该CRC不变来提供的。

### 8.2.2.3 服务水平

整个全局fabric都支持服务级别和虚拟通道。这是通过将服务级别映射到GRH中的流量级别（traffic class）来实现的，反之亦然。映射功能本身以及对服务级别的解释超出了IBA的范围。

## 8.2.3 支持多个全局路径

在子网内和子网之间路由数据包所需的信息分别包含在包的本地路由报头和全局路由报头中。与许多网络协议不同，IBA不要求数据包包含全局路由报头，除非该数据包的目的地不是同一子网上的设备（例外：基于GiD的寻址），或者该数据包是多播数据包。但是，除子网管理数据包外的任何数据包都可能包含全局路由报头（子网管理数据包在**第14.2.1节“数据报格式和用法”**中定义）。

不同子网上的两个信道适配器之间的多条路径的识别和使用是分层的，并且在子网和跨子网中涉及类似但独立的机制。

在子网中，两个信道适配器之间的多条路径由多个LID标识。也就是说，可以使用LID/LMC组合有效地为一个端口分配多个LID（**第4章：寻址**）。源信道适配器通过选择分配给目标端口的一个LID来指示路径。

同样，通道适配器可以选择支持多个GID的分配。在跨子网的全局路由的情况下，LID指示在子网内使用哪些有效路径（即交换机转发），GID指示在子网之间使用哪些有效路径（即路由器转发）。

当数据包通过子网时，其SLID和DLID字段保持不变。当数据包在子网之间传输时（即通过路由器），路由器将SLID更新为其自己的LID，DLID更新到下一个路由器或最终目的地的LID。

请注意，对于全局路由，这为源通道适配器选择通过fabric的路径提供了两个自由度。LID的选择决定了通过子网到第一个路由器的路由。GID的选择决定了到达第一个路由器后所走的路线。沿着路径的每个路由器可以通过选择下一个路由器（或最终目的地）的LID来选择通过子网到下一个路由器（或最终目的地）的路径。此外，由于DLID可以包含多路径数据的LMC比特位，路由器可以使用DLID作为其路由确定算法的一部分。

IBA没有指定路由器用于转发分组的决策过程；然而，路由器可以依赖目的地GID、源GID、SL、TClass和FlowLabel字段的各种组合来确定必须呈现有序传递的转发路径和流。信道适配器和/或入口路由器可以用全局路由报头中相同的FlowLabel来标记预期按顺序传递的分组流。虽然IBA路由器使用LID和GID来确定路径，但是非IBA路由器可以使用FlowLabel来确定路径。

## 8.2.4 全局多播

IBA支持不可靠的多播机制。关于这种机制的详细描述可以在**第7.10节“IBA和原始分组多播”**中找到。在IBA设备（包括交换机和路由器）中，该机制的实现是可选的。给定多播组内的多播数据包，即共享公共多播GID的多播数据包可以来源于单个设备或多个设备。由于多播支持是可选的，路由器支持多播数据包的能力可能有所不同。

# 8.3 全局路由头

图64说明了用于子网间路由的全局路由头的格式。

并非所有数据包都需要全局路由头（有关详细信息，请参阅**第8.4.1节“全局路由头生成”**）。全局路由报头的存在在本地路由报头中指示，如**第7.7.5节“链路下一报头（LNH）-2位“**所述。以下小段描述了GRH中的字段：

## 8.3.1 IP版本（IPVER）-4位

指示GRH的版本；始终设置为6。

## 8.3.2 业务等级（TCLASS）-8位

此字段用于端到端通信服务级别，即跨子网。IBA未指定特定流量类到特定TClass值的映射，可能因实现而异。

## 8.3.3 流量标签（FLOWLABEL）-20位

此字段可用于标识必须按顺序传递的数据包序列。

## 8.3.4 有效载荷长度（PAYLEN）-16位

对于IBA数据包，此字段指定从GRH后的第一个字节开始到ICRC的最后一个字节（包括最后一个字节）的字节数。对于原始IPv6数据报，此字段指定从GRH后的第一个字节开始到但不包括VCRC或任何填充以实现4字节数据包长度的倍数的字节数。

## 8.3.5 下一个报头（NXTHDR）-8位

此字段指示在全局路由标头之后的标头（如果有）。

## 8.3.6 跳数限制（HOPLMT）-8位

此字段指示在丢弃数据包之前允许的跳数（即传输的路由器数）。这确保了当路由循环发生时，数据包不会在路由器之间无限循环。将此值设置为0或1将确保数据包不会被转发到本地子网之外。

## 8.3.7 源全局标识符（SGID）-128位

此字段标识将数据包注入全局Fabric的端口。有关GID格式和使用的更多信息，请参阅**第4章：寻址**。

## 8.3.8 目的地全局标识符（DGID）-128位

此字段标识数据包的最终目标端口，或指向表示数据包将被传递到的端口集的多播组。有关GID格式和使用的更多信息，请参阅**第4章：寻址**。

# 8.4 全局路由头的用法

以下各小节描述了全局路由标头的用法：

## 8.4.1 全局路由头生成

C8-1：如果以下任何条件适用，发起分组的信道适配器应包括全局路由报头：

<span>◼ </span>数据包是多播数据包。

<span>◼ </span>数据包的最终目的地是设备的端口，该端口与最初将数据包注入fabric的端口不在同一子网上，并且注入端口和接收端口都连接到IBA子网。

o8-1：发起分组的信道适配器、交换机或路由器可以在除SMPs之外的任何分组中包括全局路由报头。

全局路由头的使用应该在连接建立期间进行协商。对于不可靠的数据报服务（不包括要求所有多播数据包使用全局路由器报头的多播），确定是否使用全局路由报头的过程超出了规范的范围。

如果包含全局路由头，则初始化信道适配器、交换机或路由器将按如下方式加载字段：

C8-2：**IPVer**：如果一个包中包含一个全局路由报头，该字段应设置为6。

C8-3：**TClass**：如果一个包中包含一个全局路由报头，则该字段应通过注入信道适配器设置为零或适当的TClass值。每个路由器将TClass映射到一个与它将注入数据包的子网相适应的SL。IBA未指定此映射函数。

FlowLabel：IBA不要求使用此字段。

C8-4：如果一个包中包含一个全局路由报头，并且未使用FlowLabel，则应将其设置为零。

C8-5：如果一个数据包中包含一个全局路由报头，并且使用了FlowLabel，则必须按顺序发送的所有数据包都应通过在FlowLabel字段中插入的常量非零值进行标识。

这意味着，如果给定QP使用非零流标签，则它必须对从该QP发出的所有发往给定远程QP的包使用相同的流标签。发送到给定目的地的不同QP可以使用相同或不同的流标签。流标签可以在QP之间共享。

C8-6：**PayLen**：如果IBA数据包中包含全局路由报头，则该字段应加载数据包的长度（以字节为单位），从全局路由标头后的第一个字节开始，一直到ICRC的最后一个字节。

**NxtHdr**：此字段的使用因数据包是原始数据包还是非原始数据包而有所不同。

C8-7：对于包含GRH的非原始IBA数据包，NxtHdr字段应包含0x1B。

C8-8：对于包含IPv6报头的原始数据包，NxtHdr的内容应设置为IETF RFC 1700等定义的下一个报头的标识符。

C8-9：**HopLmt**：如果一个数据包中包含一个全局路由报头，则该字段应设置为该数据包在被丢弃之前允许采取的跳数（即可以传输的路由器数量）。

C8-10：**SGID**：如果一个包中包含一个全局路由报头，则该字段应设置为分配给端口的GID之一，该端口将把数据包注入fabric中。

C8-11：**DGID**：如果一个数据包中包含一个全局路由报头，则该字段应设置为分配给作为该数据包最终目的地的端口的GID之一，或分配给表示数据包将被传送到的端口集的多播GID中的一个。

## 8.4.2 全局路由头修改

本节描述在子网之间转发数据包时，IBA路由器可能和必须对全局路由报头进行的修改。注意，对这些字段的修改意味着更新包的可变CRC，在**第7.8.2节“Variant CRC（VCRC）-2字节”**中定义。这些变化不影响**第7.8.1节“不变CRC（ICRC）-4字节”**中定义的数据包的不变CRC。

C8-12：IPVer：IBA路由器不得更改此字段。

TClass：此字段用于端到端地通信服务级别，即跨子网。路由器利用这个字段来确定在下一个子网上转发的合适的SL。IBA未指定此映射函数。

C8-13：TClass字段如果非零，IBA路由器不得修改。

当TClass包含零时，路由器如何使用TClass不是IBA定义的。

FlowLabel：此字段可用于标识必须按顺序传递的数据包序列。IBA不要求使用此字段。如果不使用，则保持不变。如果使用，必须按顺序传递的所有数据包应通过在每个数据包的该字段中插入的常量非零值来标识。

o8-2：路由器可以改变FlowLabel的值；但是，它必须对所有必须按顺序传递的包使用相同的流标签，其中包括任何给定两个qp之间的所有流量。

C8-14：PayLen：IBA路由器不得修改PayLen的内容。

C8-15：NxtHdr：IBA路由器不得修改NxtHdr的内容。

C8-16：HopLmt：IBA路由器应丢弃HopLmt字段中值为1或0的数据包。否则，IBA路由器应将HopLmt字段减少1。

C8-17：SGID：IBA路由器不得修改SGID的内容

C8-18：DGID：IBA路由器不得修改DGID的内容。

## 8.4.3 全局路由头验证