当前位置：首页 > RDMA > 正文

【Infiniband手册】第3章：架构预览

RDMA
2022-10-22
7201
更新：2022-10-26 11:07:28

本章自上而下地描述了**InfiniBand体系结构(IBA)的特性、功能、组件和元素，并描述了各种操作原理。这是一个高层次的概述，目的是作为一个信息指南，因此为了清楚起见，某些细节被故意排除在外**。

IBA定义了一个系统区域网络(System Area Network，SAN)，用于连接多个独立处理器平台(即主机处理器节点)、I/O平台和I/O设备(见图6)。IBA SAN是一种通信和管理基础设施，支持一个或多个计算机系统的I/O和处理器间通信(interprocessor communications, IPC)。IBA系统可以从一个有一个处理器和几个I/O设备的小型服务器到安装有数百个处理器和数千个I/O设备的大型并行超级计算机。此外，IBA的互联网协议(IP)友好性质允许桥接到internet、intranet或与远程计算机系统的连接。

IBA定义了一种交换通信结构，允许许多设备在受保护的远程管理环境中以高带宽和低延迟并发通信。一个终端节点可以通过多个IBA端口进行通信，并且可以利用IBA结构的多条路径。IBA端口和路径的多样性可用于容错和增加数据传输带宽。

IBA硬件从CPU卸载大部分I/O通信操作。这允许多个并发通信，而无需与通信协议相关的传统开销。IBA SAN提供其I/O和IPC客户端零处理器拷贝数据传输，无需内核参与，并使用硬件提供高可靠性、容错通信。

IBA系统局域网由处理器节点和I/O单元组成，它们通过由级联交换机和路由器组成的IBA结构连接。

IO单元的复杂程度可以从单个ASIC IBA连接设备(如SCSI或LAN适配器)到大型内存丰富的RAID子系统(其复杂性可与处理器节点媲美)到复杂的分布式并行文件系统。

# 3.1 架构范围

本卷InfiniBand架构规范定义了互连结构、路由元素、端节点、管理基础设施以及通信格式和协议。它不指定I/O命令或群集服务。

例如，考虑一个IBA-SCSI适配器。IBA没有定义磁盘I/O命令、SCSI适配器如何与磁盘通信、操作系统(OS)如何查看磁盘设备，也没有定义集群中哪个节点拥有磁盘适配器。IBA是这些操作的基础，但并不直接定义任何操作。相反，**IBA定义了如何在处理器节点上的I/O驱动程序和SCSI适配器之间传输数据和命令。**

IBA在多计算机环境中处理I/O和IPC的数据通信。它支持IO所需的高带宽和可扩展性。它满足了IPC所需的极低延迟和低CPU开销。通过IBA，操作系统可以为客户端提供绕过操作系统内核的通信机制，直接访问IBA网络通信硬件，实现高效的消息传递操作。

IBA非常适合最新的计算模型，是新形式I/O和集群通信的构建块。IBA允许I/O单元之间以及与系统中的任何或所有处理器节点进行通信。因此，I/O单元具有与任何处理器节点相同的通信能力。

## 3.1.1 拓扑和组件

在较高的层次上，IBA充当终端节点的互连，如图7所示。每个节点可以是处理器节点、I/O单元和/或到另一个网络的路由器。

IBA网络被细分为由路由器互连的子网，如图8所示。端节点可以连接到一个子网或多个子网。

IBA子网由端节点、交换机、路由器和子网管理器组成，通过链路互连，如图9所示。每个IBA设备可以连接到一个或多个交换机和/或直接彼此连接。任何两个IBA设备之间可以存在多个链路。

该体系结构针对包含多个独立进程和线程(使用者)的单元进行了优化，如图10所示。每个通道适配器构成结构上的一个节点。该体系结构支持每个单元有多个通道适配器，每个通道适配器提供一个或多个连接到Fabric的端口，在这种情况下，处理器节点呈现为(被当做)Fabric的多个端节点。

在处理器节点中，消息和数据服务是一个不在本文档范围内的操作系统组件。**本文档指定消息和数据服务与通道适配器之间接口的语义行为**。这个语义接口被称为IBA Verbs。Verbs描述配置、管理和操作主机通道适配器所需的功能。这些Verbs标识每个特定函数需要包含的适当参数。本规范中定义的Verbs不是API，而是描述API必须提供的语义行为，以便使用者能够直接访问InfiniBand通道适配器提供的服务。

IBA被构建为first order网络，因此它定义主机行为(Verbs)并定义内存操作，以便通道适配器可以尽可能靠近内存复合体。它在同意的使用者之间提供独立的直接访问，而不管这些使用者是I/O驱动程序和I/O控制器，还是基于点对点通信的软件进程。IBA提供了通道语义(发送和接收)和直接内存访问，并提供了防止非参与用户访问的保护级别。

# 3.2 通信

## 3.2.1 队列

IBA操作的基础是异步性质，这意味着使用者可以排队执行一系列服务请求。硬件用于保存这些服务请求的队列称为工作队列。工作队列通常是成对创建的，称为队列对(Queue Pair，QP)，一个用于发送操作，另一个用于接收操作。一般来说，发送工作队列保存导致数据在使用者的内存和另一个使用者的内存之间传输的指令，而接收工作队列保存关于将从另一个使用者接收到的数据放置在何处的指令。另一个使用者被称为远程使用者，即使它可能位于同一个节点上。IBA专门描述**主机信道适配器(HCA)的排队关系，但不描述I/O单元，因为I/O单元不一定受制于主机环境中存在的第二方和第三方互操作性(即HCA供应商、OS供应商和IHV的I/O驱动程序或ISV的应用程序之间的互操作性)IPC)。下面介绍HCA排队模型**。

使用者提交一个**工作请求(WR)**，这将导致一个称为**工作队列元素(WQE)**的指令被放置到适当的工作队列中。通道适配器按照wqe在工作队列中的顺序执行WQEs。当通道适配器完成WQE时，**完成队列元素(CQE)**被放置在完成队列上。每个CQE指定完成工作所需的所有信息，或者直接包含该信息，或者指向包含该信息的其他结构，例如关联的WQE。

每个使用者可能有自己的一组工作队列，每对工作队列独立于其他工作队列。每个使用者创建一个或多个完成队列，并将每个发送和接收队列关联到特定的完成队列。工作队列对的发送和接收队列不一定都使用相同的完成队列。

因为有些工作队列需要来自远程节点的确认，而有些WQE使用多个数据包来传输数据，所以通道适配器可以**同时**有多个WQE在进行中，甚至来自同一个工作队列。因此，CQE被发布到完成队列的顺序是不确定的，除了相同工作队列的CQE通常按照相应WQE被发布到工作队列4的顺序被发布(4：可靠数据报服务的接收完成是例外，因为在多个EE上下文上并发接收可能导致无序。)。

有三类发送队列操作send、远程内存访问(RDMA)和内存绑定。

<span style="font-family: Wingdings;color: #222222;letter-spacing: 1px;font-size: 16px;background: #FFFFFF">l <span style="color: #222222; letter-spacing: 1px; font-size: 16px; background: #FFFFFF; font-family: 微软雅黑;">对于**SEND**操作，WQE在使用者的内存空间中指定一个数据块，以便硬件发送到目的地，让已经在目的地排队的接收WQE指定数据的放置位置。
</span>

<span style="font-family: Wingdings;color: #222222;letter-spacing: 1px;font-size: 16px;background: #FFFFFF">l <span style="color: #222222; letter-spacing: 1px; font-size: 16px; background: #FFFFFF; font-family: 微软雅黑;">对于**RDMA操作**，WQE还指定远程使用者内存中的地址。因此，RDMA操作不需要涉及目的地的接收工作队列。RDMA操作有3种类型，RDMA-WRITE、RDMA-READ和ATOMIC。
</span>

1)、RDMA-WRITE操作规定硬件将数据从使用者的内存传输到远程使用者的内存。

2）、RDMA-READ操作规定硬件将数据从远程内存传输到用户内存。

3）、原子ATOMIC操作规定硬件将执行远程64位内存位置的读取。目标返回读取的值，并通过将更新后的值写回同一位置，有条件地修改/替换远程内存内容。

<span style="font-family: Wingdings;color: #222222;letter-spacing: 1px;font-size: 16px;background: #FFFFFF">l <span style="color: #222222; letter-spacing: 1px; font-size: 16px; background: #FFFFFF; font-family: 微软雅黑;">**内存绑定/MEMORY BINDING**指示硬件更改内存注册关系(见10.6.6.2节)。它将内存窗口与现有内存区域内的指定范围相关联(绑定)。内存绑定允许使用者指定它与其他节点共享注册内存的哪些部分(即远程节点可以访问的内存)，并指定读写权限。结果产生一个内存键(R_KEY)，使用者将其传递给远程节点，供其在RDMA操作中使用。
</span>

只有一个接收队列操作，它将指定一个接收数据缓冲区。

<span style="font-family: Wingdings;color: #222222;letter-spacing: 1px;font-size: 16px;background: #FFFFFF">l <span style="color: #222222; letter-spacing: 1px; font-size: 16px; background: #FFFFFF; font-family: 微软雅黑;">RECEIVE WQE指定当另一个使用者执行SEND操作时，硬件将把从另一个使用者接收到的数据放置在何处。每次远程使用者成功地执行发送操作时，(本地？)硬件从接收队列获取下一个条目，将接收到的数据放置在该接收WQE中指定的内存位置，并在完成队列上放置CQE，向使用者指示接收操作已完成。因此，执行发送操作会导致远程使用者处的接收队列操作。
</span>

通常，RDMA操作不会在目的地使用receive WQE，但有一个例外。用于指定即时数据的RDMA写入操作。即时数据(**Immediate data**)是可选地在SEND或RDMA WRITE指令中提供的32位信息，作为操作的一部分进行传输，但不是将立即数据写入内存，而是将数据视为另一条状态信息并作为接收CQE状态的特殊字段返回。这意味着具有即时数据的RDMA写入将在目的地消耗一个接收WQE。

## 3.2.2 连接

IBA同时支持面向连接和数据报服务。对于连接的服务，每个QP只与一个远程用户相关联。在这种情况下，QP上下文配置为远程使用者的队列对的标识。**远程使用者由端口和QP号码标识。端口由本地ID(LID)和可选的全局ID(GID)标识**。在通信建立过程中，该信息和其他信息在两个节点之间交换。

# 3.3 通信堆栈

IBA的通信堆栈如图13所示。该体系结构提供了许多IBA事务，使用者可以使用这些事务与远程使用者执行事务。使用者向QP发布工作队列元素(WQE)，通道适配器解释每个WQE以执行操作。

对于**发送队列/Send Queue操作**，通道适配器解释WQE，创建请求消息。如有必要，将消息分为多个数据包，添加适当的路由标头，并将数据包发送到相应的端口。

端口逻辑通过链路传输数据包，交换机和路由器通过Fabric将数据包中继到目的地。

当目的地接收到数据包时，端口逻辑验证数据包的完整性。信道适配器将接收到的分组与特定QP相关联，并使用该QP的上下文来处理分组并执行操作。如果需要，通道适配器将创建一个响应(确认)消息，并将该消息发送回发起方。

接收某些请求消息会导致通道适配器使用接收队列中的WQE。当它这样做时，与所消费的WQE相对应的CQE被放置在适当的完成队列上，这使得向拥有QP的使用者发出工作完成。

# 3.4 IBA组件

IBA系统中的设备分为：

链路管理基础架构包括：

## 3.4.1 链路和中继器

链路将信道适配器、交换机、中继器和路由设备互连以形成一个结构。链路可以是铜缆、光缆或背板上的印刷电路布线。**中继器**是一种透明的设备，可以扩展链路的范围。InfiniBand Architecture的第2卷规定了各种媒介类型的链路和中继器要求，并定义了I/O设备的各种模块形式。第1卷中描述的体系结构独立于链路类型和外形因素。

链路和中继器不能直接寻址，但是链路状态可以通过链路两端的设备来确定。

## 3.4.2 信道适配器

通道适配器是处理器节点和I/O单元中生成和使用数据包的IBA设备。**IBA定义了两种类型的信道适配器：主机信道适配器(HCA)和目标信道适配器(TCA)**。HCA提供一个使用者接口，提供IBA Verbs指定的功能。IBA没有为TCA指定使用者接口的语义。

**信道适配器是一种具有特殊保护功能的可编程DMA引擎，允许在本地和远程启动DMA操作**。

**通道适配器可以有多个端口。通道适配器的每个端口都分配了一个本地ID(LID)或一系列LID。每个端口都有自己的一组发送和接收缓冲区，这样每个端口都能够并发地发送和接收。缓冲通过虚拟通道(VL)传输，每个VL都有自己的流量控制。**

通道适配器提供**内存转换和保护(MTP)机制**，该机制将虚拟地址转换为物理地址并验证访问权限。本文件未规定具体的内存管理机制，也未对TCA规定此类机制的要求。

通道适配器以由发送和接收工作队列组成的队列对(QP)的形式向其使用者提供通信接口的多个实例。

子网管理器用每个物理端口(即端口的LID)的本地地址配置信道适配器。为了配置通道适配器而与子网管理器通信的实体称为子网管理代理(SMA)。

每个通道适配器都有一个由通道适配器供应商分配的**全局唯一标识符(GUID)**。由于子网管理器分配的本地ID不是持久的(即，可能会在每次关机后更改)，因此通道适配器GUID(称为**节点GUID**)成为用于永久标识通道适配器的主要对象。此外，每个端口都有一个由通道适配器供应商分配的端口GUID。

## 3.4.3 交换机

交换机主要根据数据包的本地路由报文头中的目标地址来传递数据包。交换机还消耗和获取管理交换机本身所需的数据包。可选地，交换机端口可以包含物理TCA端口的属性。

IBA交换机是子网内路由的基本路由组件(子网间路由由IBA路由器提供)。交换机之间的链路通过中继连接。

交换机公开两个或多个端口，在这些端口之间中继数据包。

子网中的每个目的地都配置了一个或多个唯一的本地标识符(LID)。数据包包含一个指定目的地的地址。从交换机的角度来看，目的地表示通过交换机的路径。交换机元素配置有转发表。单个数据包在交换机内根据数据包的目标LID和交换机的转发表转发到一个或多个出站端口。

IBA交换机支持单播转发，也可以支持多播转发。单播是将单个数据包传送到单个目的地，而多播是结构将单个数据包传送到多个目的地的能力。

子网管理器配置交换机，包括加载其转发表。

为了最大限度地提高可用性，可以在交换机结构中部署端节点之间的多条路径。如果交换机之间有多条路径可用，子网管理器可以将这些路径用于冗余或基于目标LID的负载共享。在存在多条路径的情况下，子网管理器可以通过重新加载Fabric区域中受影响的交换机的转发表，围绕故障链路重新路由数据包。

## 3.4.4 路由器

和交换机一样，路由器不生成也不消耗数据包(管理包除外)。他们只是把它们传下去。路由器根据数据包的全局路由报文头转发数据包，并在数据包从子网传递到子网时实际替换包的本地路由报文头。

IBA路由器是子网间路由的基本路由组件(子网内路由由IBA交换机提供)。路由器通过在子网之间中继数据包来互连子网。

路由器公开一个或多个端口，在这些端口之间转发数据包。路由器可以嵌入其他设备，如通道适配器或交换机。

**路由器对终端节点不是完全透明的，因为源节点必须指定路由器的LID并提供目的地的GID。**

每个子网都用称为子网前缀的子网标识唯一。子网管理器(通过PortInfo属性)用该子网的子网前缀对所有端口进行编程。当与端口GUID组合时，此组合将成为端口的自然GID。端口可能有其他本地管理的GID。

从路由器的角度来看，GID的子网前缀部分表示通过路由器的路径。IPv6指定路由器之间执行的协议以派生它们的转发表。单个包在路由器内根据包的目的地GID和路由器的转发表转发到一个或多个出站端口。

每个路由器通过下一个子网将数据包转发到另一个路由器，直到数据包到达目标子网。最后一个路由器使用与目的地GID相关联的LID作为目的地LID来发送包。

子网管理器用有关子网的信息配置路由器，例如要使用哪个VL和分区信息。

为了最大限度地提高可用性，可以在结构中部署子网之间的多条路径。如果有多条路径可用，路由器可能会将这些路径用于冗余或负载共享。当存在多个路径时，路由器可以围绕故障子网重新路由数据包。

## 3.4.5 管理组件

IBA管理提供了一个子网管理器和一个支持许多通用管理服务的基础设施。管理基础结构要求每个节点中都有一个子网管理代理，并定义了一个允许其他通用服务代理的通用服务接口。

该体系结构定义了一个**公共管理数据报(MAD)**消息结构，用于管理器和管理代理之间的通信。

### 3.4.5.1 子网管理器

**子网管理器(SM)**是连接到子网的实体，负责配置和管理交换机、路由器和通道适配器。SM可以与其他设备一起实现，例如信道适配器或交换机。

IBA支持每个子网多个子网管理器的概念，并指定多个子网管理器如何协商一个成为主SM。不禁止合作SMs之间的其他方法来管理主/备用关系。

**主SM：**

### 3.4.5.2 子网管理代理

每个节点提供一个子网管理代理(SMA)，SM通过称为子网管理接口(SMI)的已知接口访问该代理。SMI允许LID路由包和直接路由包。直接路由提供了在配置交换机和终端节点之前进行通信的方法。只有SMI允许直接路由数据包。

### 3.4.5.3 一般服务代理

每个节点可以包含称为通用服务代理(generalserviceagents，GSA)的附加管理代理，这些管理代理可以通过称为通用服务接口(generalserviceinterface，GSI)的众所周知的接口进行访问。GSI仅支持LID路由。**IBA定义的一般服务类别为：**

<span style="font-family: Wingdings;color: #222222;letter-spacing: 1px;font-size: 16px;background: #FFFFFF">l <span style="color: #222222; letter-spacing: 1px; font-size: 16px; background: #FFFFFF; font-family: 微软雅黑;">特定于应用程序-此类定义了一组可供应用程序使用的通用方法。应用程序可以自由定义新的方法和属性，但是它们必须符合本规范后面章节中描述的管理数据报格式和限制。
</span>

# 3.5 IBA特性

## 3.5.1 队列对

QP是硬件提供给IBA用户的虚拟接口；它充当使用者的虚拟通信端口。该体系结构支持每个信道适配器多达2^24个QP；每个QP上的操作独立于其他QP。每个QP为其他QP操作和其他使用者提供了高度的隔离和保护。因此，QP可以被视为分配给单个使用者的私有资源。使用者可能会使用多个QP，如图17所示。

使用者通过分配QP并指定其服务类别来创建此虚拟通信端口。通信发生在源QP和目的QP之间。对于面向连接的服务，每个QP都严格地绑定到另一个QP上，通常在不同的节点上。使用者发起将QP与目的地QP绑定所需的任何通信建立，并使用诸如目的地LID、服务级别和协商的操作限制之类的特定信息来配置QP上下文。

通过QP发布请求以调用QP工作。

## 3.5.2 服务类型

每一个QP被配置为特定的操作类(称为服务类型)，基于源和接收QP如何交互。必须为源和目标QP配置为同一服务类型。每种服务类型都基于以下属性。

<span style="font-family: Wingdings;color: #222222;letter-spacing: 1px;font-size: 16px;background: #FFFFFF">l <span style="color: #222222; letter-spacing: 1px; font-size: 16px; background: #FFFFFF; font-family: 微软雅黑;">面向连接vs数据报——对于面向连接的服务，QP与另一个QP完全关联，所有发送到QP的工作请求都会导致一条消息发送到已建立的目的地QP。数据报操作允许使用单个QP向任何节点上的任何适当QP发送和接收消息。
</span>

<span style="font-family: Wingdings;color: #222222;letter-spacing: 1px;font-size: 16px;background: #FFFFFF">l <span style="color: #222222; letter-spacing: 1px; font-size: 16px; background: #FFFFFF; font-family: 微软雅黑;">可靠vs不可靠——IBA传输通过一系列确认保证可靠性。对于一个可靠的服务，传输保证每一条消息按顺序准确地传递一次，而不会出现错误。为了提供这种级别的可靠性，接收QP使用肯定确认(ACK)或否定确认(NAK)来确认所有接收到的入站请求。对于不可靠的服务，传输协议不能保证所有的数据都被传递，尽管有一些机制允许它确保所有接收到的数据最多一次被传递，并且传递的数据不会被破坏。此外，在某些情况下，Fabric配置的更改可能会导致数据的传递出现故障；可靠的服务可以检测到这些情况并从中恢复。不可靠的服务可以检测到这些情况，但不能独立地从中恢复。
</span>

<span style="font-family: Wingdings;color: #222222;letter-spacing: 1px;font-size: 16px;background: #FFFFFF">l <span style="color: #222222; letter-spacing: 1px; font-size: 16px; background: #FFFFFF; font-family: 微软雅黑;">IBA传输vs其他传输——IBA传输服务为基于通道和基于内存的操作定义了特定的传输协议。IBA还支持使用信道适配器作为数据链路引擎在节点之间发送原始数据包，这对于支持传统协议栈和传统网络非常有用。
</span>

IBA定义的服务类型见表2。

某些IBA操作仅对某些服务类别有效。QP拒绝对配置的服务类无效的操作的WQE。

**面向连接的服务**要求用户在进行任何QP操作之前启动与目标节点的通信建立过程(连接设置)，以关联QP并建立QP上下文。实际上，除了原始数据报以外的所有服务类都需要某种形式的通信设置来关联队列对。对于可靠的数据报服务，节点执行通信建立过程以将端到端(EE)上下文(稍后解释)与每个目标节点相关联。为可靠的数据报服务配置的所有qp都使用已建立的EE上下文，并且工作请求指定将哪个EE上下文用于该操作。

**原始数据报**类似于不可靠的数据报，只是源QP不知道将接收和处理消息的QP的身份。原始数据报允许路由器将原始数据报数据包转发到完全不同的Fabric(如LAN或WAN)上的非IBA目的地，而这种结构没有QP的等价物。原始数据报有两种类型，IPv6和Ethertype。IPv6原始数据报包含一个全局路由报文头，而数据包有效载荷包含一个在全局路由报文头中标识的传输协议服务数据单元。以太网类型原始数据报包含以太网类型字段，而数据包有效负载包含以太网类型字段中标识的传输协议服务数据单元。

IBA定义了通道(发送/接收)和内存(RDMA)语义。原始数据报和不可靠数据报服务不支持内存语义。

## 3.5.3 Keys

IBA使用各种Keys来提供隔离和保护。Keys是由管理实体分配的值，在消息中以各种方式使用。Keys本身不提供安全性，因为Keys在跨结构的消息中可用，因此任何可以访问结构内部的实体都可以确定Key值。IBA确实对应用程序访问某些Keys的方式设置了限制。

这些Keys是：

<span style="font-family: Wingdings;color: #222222;letter-spacing: 1px;font-size: 16px;background: #FFFFFF">l <span style="color: #222222; letter-spacing: 1px; font-size: 16px; background: #FFFFFF; font-family: 微软雅黑;">**管理密钥(M_Key)**：强制主子网管理器的控制。由子网管理器管理并用于某些子网管理数据包。每个通道适配器端口都有一个由SM设置然后启用的M_Key。SM可以为每个端口分配不同的密钥。一旦启用，端口将拒绝某些不包含已编程的M_Key的管理数据包。因此，只有具有编程M_Key的SM才能更改节点的结构配置。只要SM处于活动状态，SM就可以阻止读取端口的M_Key。端口保持超时，以便在SM发生故障时端口恢复为非托管状态。一个交换机有一个主钥匙。
</span>

<span style="font-family: Wingdings;color: #222222;letter-spacing: 1px;font-size: 16px;background: #FFFFFF">l <span style="color: #222222; letter-spacing: 1px; font-size: 16px; background: #FFFFFF; font-family: 微软雅黑;">**基板管理密钥(B_Key)**：强制控制子网基板管理器。由子网基板管理器管理并用于某些MAD中。每个通道适配器端口都有一个由baseboard manager设置的B_Key。基板管理器可以为每个端口分配不同的密钥。一旦启用，端口将拒绝某些不包含已编程的B_Key的管理数据包。因此，只有具有已编程的B_Key的基板管理器才能更改节点的基板配置。只要基板管理器处于活动状态，baseboard manager就可以防止读取端口的B_Key。端口保持超时，以便在基板管理器发生故障时端口恢复为非托管状态。交换机有一个钥匙。
</span>

<span style="font-family: Wingdings;color: #222222;letter-spacing: 1px;font-size: 16px;background: #FFFFFF">l <span style="color: #222222; letter-spacing: 1px; font-size: 16px; background: #FFFFFF; font-family: 微软雅黑;">**分区键(P_Key)**：强制成员身份。分区管理器(PM)通过子网管理器进行管理。每个通道适配器端口都包含一个由PM设置的分区键表。qp需要为同一分区配置以进行通信(除了QP0、QP1和为原始数据报配置的端口)，因此**P_Key**被携带在每个IB传输包中。通信建立过程的一部分决定了特定QP或EEC使用的**P_Key**。EEC包含用于可靠数据报服务的**P_Key**，QP上下文包含用于其他IBA传输类型的**P_Key**。QP或EEC中的**P_Key**放在发送的每个分组中，并与接收到的每个分组中的**P_Key**进行比较。拒绝**P_Key**比较失败的接收包。每个交换机都有一个用于管理消息的**P_Key**表，并且可以选择性地支持基于**P_Key**过滤包的分区强制表。
</span>

<span style="font-family: Wingdings;color: #222222;letter-spacing: 1px;font-size: 16px;background: #FFFFFF">l <span style="color: #222222; letter-spacing: 1px; font-size: 16px; background: #FFFFFF; font-family: 微软雅黑;">**队列密钥(Q_Key)**：对可靠和不可靠的数据报服务(不包括原始数据报服务类型)强制访问权限。由通道适配器管理。在数据报服务的通信建立期间，节点交换特定队列对的Q_Key，并且节点在发送给该远程QP的所有包中使用它为远程QP传递的值。同样，远程节点使用它提供的Q_Key。接收到与节点提供给远程队列对的Q_Key不同的包意味着该包无效，因此被拒绝。
</span>

具有最高有效位集的Q_Key被视为受控Q_Key(例如GSI Q_Key)，HCA不允许使用者任意指定受控Q_Key。试图发送一个受控的Q_Key会导致在QP上下文中使用Q_Key。因此，操作系统保持控制，因为它可以为特权用户的受控Q_Key配置QP上下文。

<span style="font-family: Wingdings;color: #222222;letter-spacing: 1px;font-size: 16px;background: #FFFFFF">l <span style="color: #222222; letter-spacing: 1px; font-size: 16px; background: #FFFFFF; font-family: 微软雅黑;">**内存键(L_Key and R_Key)**：允许使用虚拟地址，并为使用者提供一种机制来控制对其内存的访问。这些密钥由通道适配器通过注册过程进行管理。使用者向通道适配器注册一个内存区域，并接收一个**L_Key和R_Key**。使用者在工作请求中使用**L_Key**来向QP描述本地内存，并将**R_Key**传递给远程使用者，以便在RDMA操作中使用。当使用者将RDMA操作排队时，它指定从远程使用者传递给它的**R_Key**，并且**R_Key**包含在发送给原始通道适配器的RDMA请求包中。**R_Key**验证发送方访问目标内存的权限，并为目标通道适配器提供将虚拟地址转换为物理地址的方法。
</span>

## 3.5.4 虚拟内存地址

IBA针对虚拟寻址进行了优化。也就是说，IBA使用者在工作请求中使用虚拟地址，并且通道适配器能够根据需要将虚拟地址转换为物理地址。为此，每个使用者向通道适配器注册虚拟内存区域，并且通道适配器向使用者返回两个名为**L_Key和R_Key**的内存句柄。然后，使用者在每个需要访问该区域的内存的工作请求中使用**L_Key**。有关**L_Key**用法的说明，请参见第3.5.3节。

内存注册提供了一种机制，允许IBA用户描述一组虚拟连续的内存位置或一组物理上连续的内存位置，以允许HCA使用虚拟地址作为虚拟连续的缓冲区来访问内存。

IBA还支持远程内存访问(RDMA)，它允许远程使用者访问注册的内存。对于RDMA，使用者将**R_Key**和该内存区域中缓冲区的虚拟地址传递给另一个使用者。远程使用者在其RDMA WQEs中提供**R_Key**，该密钥将访问原始节点中的内存。有关**R_Key**用法的详细说明，请参见第3.5.3节。

## 3.5.5 保护域

内存注册不仅允许使用虚拟内存寻址，而且还提供了更高级别的保护，防止意外和未经授权的访问。

由于使用者可能与许多不同的目的地通信，但不希望让所有这些目的地对其注册内存具有相同的访问权限，IBA提供了保护域。保护域允许使用者控制哪一组内存区域和内存窗口可以通过哪一组QP访问。

在使用者分配QP或注册内存之前，它会创建一个或多个保护域。QP被分配到保护域，并且内存被注册到保护域。特定内存域的**L_Key和R_Key**仅在为同一保护域创建的QP上有效。

## 3.5.6 分区

分区在共享InfiniBand结构的系统之间强制隔离。分区与子网、交换机或路由器建立的边界无关。相反，分区描述了结构中可能通信的一组端节点。

端节点的每个端口都是至少一个分区的成员，并且可以是多个分区的成员。分区管理器为每个通道适配器端口分配分区密钥(P_Key)。每个密钥代表一个分区。每个QP和EE上下文被分配到一个分区，并在它发送的所有包中使用该P_Key，并检查它接收的所有包中的P_Key。接收到无效的P_Key会导致数据包被丢弃。

交换机和路由器可选择性地用于强制分区。当路由器或包管理器检测到带有密钥的包或包管理器时，它会丢弃带有密钥的包或包管理器。

## 3.5.7 虚拟通道

虚拟通道(VL)提供在单个物理链路中创建多个虚拟链路的机制。虚拟通道表示端口中的一组发送和接收缓冲区。所有端口都支持VL15，这是专门为子网管理保留的。有15个其他VL(VL0到VL14)称为**数据VL**，所有端口至少支持一个数据VL(VL0)，并且可以提供VL1到VLn-1，其中n是端口支持的数据VL的数量)。

端口使用的实际数据VL由SM配置，并基于数据包中的**服务级别(SL)字段**。默认情况下是使用VL0，直到SM确定链路两端支持的VL数量，并编程端口的SL到VL映射表。

端口对每个数据VL保持单独的流量控制，这样一个VL上的过多流量不会阻塞另一个VL上的流量。

VL分配只存在于链路两端的端口之间，并且一条链路上的VL分配独立于其他链路上的分配。

每个包都有一个在包头中指定的SL。当一个包通过Fabric时，它的SL决定在每个链路上使用哪个VL。每个端口维护一个SL到VL的映射表，以便在适当的VL上发送数据包。

当链路两端的端口支持不同数量的数据VL时，具有较高数量的端口降级为另一个端口支持的数量。因此，对于只支持单个数据VL的端口，所有数据流量默认为VL0。

## 3.5.8 服务质量QoS

IBA提供了几种机制，允许子网管理器管理已连接和无连接服务的各种服务质量保证。这些机制是**服务级别、服务级别到虚拟通道的映射和分区**。IBA没有定义服务质量(QoS)级别(例如，尽力而为)。

### 3.5.8.1 服务水平

IBA定义了一个服务级别(Service Level，SL)属性，该属性允许数据包在16个服务级别中的一个级别上运行。每个服务级别的定义和目的都超出了体系结构的范围，并作为Fabric管理策略保留。因此，服务级别的分配是每个节点的通信管理器及其与子网管理器协商的功能。

### 3.5.8.2 SL至VL映射

与服务级别相关的另一种IBA机制是虚拟通道。每个分组标识其SL，当数据包通过Fabric时，包的SL是确定下一链路上使用哪个VL的组件。为此，每个端口(交换机、路由器、终端节点)都有一个SL到VL映射表，该表由子网管理配置。当然，对于所有终止在只支持一个数据VL的端口的链接，所有SLs映射到VL0。否则，子网管理策略确定每个SL到可用VL的映射。

发送给QP0的数据包是**子网管理包(SMP)**，仅使用VL15，并且忽略它们的SL。VL15(管理VL)不是数据VL，不用于未寻址到QP0的分组。

### 3.5.8.3 分区

另一种可以与服务级别绑定的IBA机制是分区。Fabric管理可以为特定分区分配特定的SL。这允许SM隔离这些分区之间的流量流，即使两个分区都在相同的QoS级别下运行，但无论其他分区中的节点是否行为不当或订阅过度，每个分区都可以保证其公平的带宽共享。

## 3.5.9 注入速率控制/INJECTION RATE CONTROL

IBA定义了许多不同的链路比特率。最低比特率为2.5 Gb/sec称为1x(1倍)链路。其他链路速率为10Gb/sec(4x)和30 Gb/sec(x12)。请参阅[ITA网站](www.infinibandta.org "ITA网站")查看当前速度路线图规划。为了支持Fabric中的多链路速度，IBA定义了一种静态**速率控制**机制，该机制可防止具有高速链路的端口超过具有低速链路的端口的容量。

作为路径解析过程的一部分SubnAdm:PathRecord提供具有MTU的节点和路径的速率信息。由于交换机端口或终端节点可能是限制因素，因此使用路径信息。

图19中的示例说明，具有12x链路速度的端口A具有在端口B容量的3倍和C、D或E端口容量的12倍的情况下注入流量的潜力。此外，B端口有可能在C、D或E端口容量的4倍处注入流量。因为流量往往很活跃，每次端口A发送到其他端口中的一个时，该Fabric都有很高的拥塞概率。链路流量控制可以防止由于拥塞而丢失数据包，但是反向压力会影响其他不会阻塞的路径。

IBA通过定义**静态速率控制机制**来解决链路速度大于1x的端口的问题。

每个目的都有一个与其关联的超时值，超时值基于源比特率和目标比特率之间的比率。当源比特率和目标比特率相等时，超时值为0(不需要)。否则，当端口将数据包发送到目的地时，它将该目的地和超时值放入其静态速率控制表中。超时期限到期后，端口将删除条目。虽然条目仍然在表中，但是端口不会向该目的地发送任何数据包(即，延迟到表中不在其他目的地的通信量)。当表中没有条目时，端口通过将数据包放置在适当的VL输出队列上来传输数据包。

## 3.5.10 寻址/Addressing

每个端点节点包含一个或多个通道适配器，每个通道适配器包含一个或多个端口。另外，每个通道适配器包含许多队列对(QP)。

每个QP都有由通道适配器分配的**队列对号(QPN)**，该队列对号(QPN)唯一地标识信道适配器中的QP。每个端口有两个众所周知的QP(QP0和QP1)，所有其他QP都配置为通过特定端口操作。**对于可靠的数据报服务，决定端口的是EE上下文，而不是QP上下文**。

原始数据报以外的数据包包含目标QP的QPN。当信道适配器接收到数据包时，它使用目标QPN(和EE上下文用于可靠数据报)的上下文来处理该分组。

每个端口都有由本地子网管理器(即子网管理器)分配的本地ID(LID)。在子网中，LID是唯一的。交换机使用LID在子网内路由数据包。本地子网管理器根据LID和该端口相对于特定交换机的位置配置交换机中的路由表。每个数据包都包含一个**源LID(SLID)**，用于标识将数据包注入子网的端口，以及一个**目的LID(DLID)**，用于标识结构将在其中传递数据包的端口。

IBA还通过定义**LID Mask Control(LMC)**在物理端口中提供多个虚拟端口。LMC指定在验证数据包DLID是否与分配的LID匹配时，物理端口屏蔽(忽略)的LID的最低有效位的数目。这些位不会被交换机忽略，因此子网管理器可以基于这些最低有效位编程通过Fabric的不同路径。因此，该端口似乎是$$2^{LMC}$$端口，用于跨Fabric路由。

每个端口还至少有一个IPv6地址格式的全局ID(GID)。GID是全局唯一的。每个数据包可选地包含一个**全局路由**报文头(**GRH)**，指定一个源GID(SGID)，该源GID(SGID)标识将数据包注入到结构中的端口，以及一个目标GID(DGID)，该目标GID标识结构将在其中传递包的端口。路由器使用GRH在子网之间路由数据包。**交换机忽略GRH**。

每个通道适配器都有一个全局唯一标识符(GUID)，称为由通道适配器供应商分配的节点GUID。它的每个端口都有一个端口GUID，也是由通道适配器供应商分配的。端口GUID与本地子网前缀组合在一起成为端口的默认GID。

子网管理为LID/GID解析服务提供GUID。因此，一个节点可以通过记住一个节点或端口GUID来持久地标识另一个节点。

**QP的地址是端口地址(GID+LID)和QPN的组合**。为了与QP通信，需要一个信息向量，包括端口地址(LID和/或GID)、QPN、服务级别、路径MTU，以及可能的其他信息。此信息可通过发送到子网管理的路径查询请求获得。

**服务ID用于解析QP**。有些服务ID是众所周知的(即，某些功能具有指定的服务ID)，有些服务ID在I/O控制器的服务条目列表中公布。子网管理器提供GID/LID解析的GUID，但目标提供QP解析的服务ID作为通信管理过程的一部分。

一般来说，请求通信消息的目标节点使用服务ID将请求定向到实体，该实体决定是否继续进行通信建立。如果判定是肯定的，则目标返回建立通信所需的信息，其中包括QPN加上特定于传输服务类型的其他信息。

**简化的地址解析过程如图20所示。**

在图中，目标是一个I/O控制器，在这里发起者通过查询IOC以获得支持的I/O协议列表来学习服务ID。只有当正在建立的服务使用与管理MAD不同的路径特性(SL、QoS、MTU等)时，才需要第二个路径解析。

## 3.5.11 多播

多播是一种一对多/多对多的通信模式，旨在简化和提高一组终端节点之间的通信效率。

**每个多播组由唯一的GID标识**。多播将通过一个端口为每个节点提供一个参与管理的端口。这些信息被分发到交换机。每个交换机都配置了多播通信的路由信息，该信息指定了分组需要传输的所有端口。注意确保不存在循环(即，单个生成树使得包不会转发到已经处理该包的交换机)。

**节点在它发送给该多播组的所有数据包中使用多播LID和GID**。当交换机接收到多播数据包(即，在数据包的DLID字段中有多播限制的数据包)时，它复制该数据包并将其发送到除到达端口之外的每个指定端口。以这种方式，每个级联交换机复制分组，使得分组仅到达每个订阅的端节点一次。

信道适配器可以限制可以为同一多播地址注册的QP的数量。通道适配器将多播数据包分发给为该多播地址注册的QP。一个QP可以为同一个端口的多个地址注册，但是如果使用者希望在多个端口上接收多播流量，则每个端口需要一个不同的QP。信道适配器通过分组的DLID或分组的目的地QP字段中的特殊值来识别多播分组，并将分组路由到为该地址和端口注册的QP。注意，多播数据包中的目的地QP字段不是QPN。

### 3.5.11.1 多播示例

图21举例说明了不可靠的多播IBA操作：

<span style="font-family: Wingdings;color: #222222;letter-spacing: 1px;font-size: 16px;background: #FFFFFF">l <span style="color: #222222; letter-spacing: 1px; font-size: 16px; background: #FFFFFF; font-family: 微软雅黑;">交换/路由组件检查包报文头并提取DLID/多播GID以确定它是否对应于多播组。一个实现可以将该数据维护为其内部路由表的一部分，例如，对应于该分组应转发的输出端口的位掩码。
</span>

### 3.5.11.2 组管理/Group Management

IBA没有定义多播组管理协议来实现加入和离开操作。然而，管理接口和相关的MAD用于实现多播组协议被指定。虽然这些机制是**子网管理(SA)**的一部分，但某些操作是由**子网管理器(SM)**隐式执行的。在下面的讨论中，术语多播管理实体用于描述SA/SM关于多播管理的预期责任。有关详细信息，请参阅多播成员记录的子网管理属性。

#### 3.5.11.2.1 组播组创建

多播组的创建是IBA中的一个显式操作，目的是提供对**组特征**的单一控制，并允许成员进行颠覆性的加入。在能够成功加入组之前，必须由多播管理实体创建组：

1) 、 **(管理)应用程序定义(或确定)目标多播组地址(GID)**。它指定特定的组特征(PMTU、P-Key等)，并通过调用多播管理实体的多播组创建(multicast group create)来创建多播组。此应用程序可以请求特定的多播GID或为其分配一个。

2)、 多播管理实体可以通知正在创建的新组(IBA V1.1中未定义)的子网上的适当路由器。路由器协议应该确定这个多播组是否在另一个子网中运行。如果是，路由器返回现有多播组的PMTU，以确定是否允许创建。

3)、 多播管理实体将多播组地址映射到多播LID。

#### 3.5.11.2.2 组播组加入

多播组加入算法(适用于IBA不可靠数据报多播组)定义如下：

1) 应用程序定义或确定目标多播组地址并调用多播加入操作。

2) 底层join实现确定关联的端节点是否参与多播组。如果是，应用程序将建立一个新的本地QP并执行加入该组所需的步骤。否则，应用程序将调用管理接口与多播组管理实体通信。

3) 多播管理实体在接收到加入请求时执行以下步骤：

----a) 验证多播组地址——如果无效，则加入操作失败。

----b) 验证请求的PMTU——加入操作失败(如果无效)。

----c) 验证连接到端节点的交换机是否能够进行多播操作。交换机可以通过数据包复制支持多播操作，也可以配置为将所有多播数据包发送到端节点连接端口。

----d) 如果多播组地址当前在此子网内运行，请执行以下操作：

--------i) 验证参与此多播组的所有交换机和路由器都能支持请求的PMTU。如果不能，则加入操作将失败。

--------ii)每个多播组通过在参与交换机之间定义逻辑路由树来实现。重新生成/修改路由树以包含新的端节点。多播管理实体通知结构管理更新所有交换机和路由器中的关联路由转发表，以反映此新拓扑。

----e) 如果多播组地址不在此子网内运行，请执行以下步骤。

--------i) 通知此子网内的每个路由器加入操作。路由器协议应该确定这个多播组是否在另一个子网中运行。如果是这样，路由器返回现有多播组的PMTU，以确定是否允许创建和后续的加入操作。

--------ii)将多播组地址映射到未使用的多播LID。

--------iii)建立多播路由树，并相应地更新相关的交换机和路由器路由转发表。

--------iv)创建组并将PMTU分配给多播组。

--------v) 将多播LID和相关的组特征返回到端节点，并允许多播操作启动。

----f) 此子网中的每个路由器都被通知成功的多播加入操作。路由器调用适当的多播组管理操作来添加此子网作为参与关联多播组的成员。本协议不符合IBA规范。

4)、 将成员添加到组中。

#### 3.5.11.2.3 退出多播组

当应用程序离开多播组时，将使用以下算法：

1) 应用程序的QP作为多播组的目标被删除。如果仍有QP参与该多播组，则无需进一步操作。

2) 如果在这个端口上没有更多的QP在多播组中参与，则退出实现通知多播管理实体该端节点不再参与该多播组。多播管理实体执行以下步骤：

a) 更新交换机和路由器路由转发表，以有效地删除此端节点作为与此多播组关联的数据包的目标。

b) 从组中删除成员。

#### 3.5.11.2.4 删除多播组

当(管理)应用程序认为不需要多播组或没有其他端节点参与多播组时，可以删除该多播组。在接收到删除请求时，多播管理实体采取以下步骤：

1) 从多播组地址取消多播LID的映射。

2) 通知此子网中的每个路由器此子网不再参与关联的多播组。

### 3.5.11.3 多播删减

为了提高结构效率，多播组管理实体应定期验证参与多播组的所有终端节点和路由器仍在参与，如果没有，则应通过执行多播组离开算法将它们从多播组中删除。验证周期不在IBA的范围内。

## 3.5.12  Verbs

IBA描述了主机通道适配器和该主机通道适配器提供的I/O服务的使用者之间的服务接口。**向使用者公开的所需行为由一组称为Verb的语义来描述**。Verbs描述基于向通道适配器提交工作请求并返回完成状态的特定队列模型在主机通道适配器和使用者之间发生的操作。

Verbs的目的不是指定API，而是充分描述接口，以允许定义API，从而允许I/O服务的使用者充分利用该体系结构。

# 3.6  通道和内存语义

IBA通信为用户提供了信道语义和内存语义，因为它们都对I/O和IPC有用。**通道语义**，有时称为发送/接收，指的是经典I/O通道中使用的通信方式——一方推送数据，目的方确定数据的最终目的地。也就是说，事务是双端的，需要请求方和响应方之间的合作。在线路上传输的消息只命名目的地的QP，消息没有描述消息内容将在目的地使用者的存储空间中的何处写入。相反，目的地QP包含用于将消息传送到适当的内存位置的寻址信息。

使用**内存语义**，发起方直接读取或写入远程节点的虚拟地址空间。远程方只需要通告缓冲区的位置；它不涉及数据的实际传输。因此，这种方式有时被称为单端通信。

典型的I/O事务可能使用通道和内存语义的组合。例如，主机进程可以通过使用通道语义向I/O设备发送磁盘写入命令来启动I/O操作。I/O设备检查命令并使用内存语义直接从处理器节点的内存空间读取数据缓冲区。操作完成后，I/O单元使用通道语义将I/O完成消息推送回处理器节点。

## 3.6.1 通信接口

“**信道适配器**”是一个术语，用于标识将节点连接到IBA结构的硬件(包括任何支持软件)。**处理器节点的信道适配器称为“主机信道适配器”(HCA)，I/O节点中的信道适配器称为“目标信道适配器”(TCA)。使用者通过一个或多个“队列对”(QP)进行通信。HCA通常支持数百或数千个QP，而TCA可能支持少于10个QP**。

QP是通信接口。用户启动工作请求(WR)，使工作项(称为WQE)被放置到队列中，通道适配器执行该工作项。

具体来说，**发送队列/Send Queue**支持的操作包括：

<span style="font-family: Wingdings;color: #222222;letter-spacing: 1px;font-size: 16px;background: #FFFFFF">l <span style="color: #222222; letter-spacing: 1px; font-size: 16px; background: #FFFFFF; font-family: 微软雅黑;">**发送缓冲区**——将本地缓冲区推送到远程QP的接收缓冲区的**通道语义**操作。发送WR包括一个**收集列表(gather list)**，用于将来自多个几乎相邻的本地缓冲区段的数据组合成一个消息，该消息被推送到远程QP的接收缓冲区。本地缓冲区的虚拟地址必须位于创建本地QP的使用者的地址空间中。
</span>

<span style="font-family: Wingdings;color: #222222;letter-spacing: 1px;font-size: 16px;background: #FFFFFF">l <span style="color: #222222; letter-spacing: 1px; font-size: 16px; background: #FFFFFF; font-family: 微软雅黑;">**RDMA Read**——一种**内存语义**操作，用于读取远程节点上的几乎连续的缓冲区。RDMA读取操作读取远程终端节点上的一个几乎相邻的缓冲区，并将数据写入本地内存缓冲区。
</span>

与Send操作类似，本地缓冲区必须位于创建本地QP的使用者的地址空间中。

远程缓冲区必须位于拥有RDMA Read目标的远程QP的远程使用者的地址空间中。

<span style="font-family: Wingdings;color: #222222;letter-spacing: 1px;font-size: 16px;background: #FFFFFF">l <span style="color: #222222; letter-spacing: 1px; font-size: 16px; background: #FFFFFF; font-family: 微软雅黑;">**RDMA Write**——一种**内存语义**操作，用于在远程节点上写入一个几乎连续的缓冲区。WR包含本地缓冲区段的收集列表和远程缓冲区的虚拟地址，本地缓冲区段中的数据将写入其中。
</span>

与Send WR一样，本地缓冲区必须位于创建本地QP的使用者的地址空间中。

拥有远程RDMA地址的远程用户必须以远程缓存中的QP为目标。

原子操作的一个例子是**Compare and Swap if Equal**操作。WR指定远程内存位置、比较值和新值。远程QP读取指定的内存位置，将该值与消息中提供的比较值进行比较，并且只有当这些值相等时，QP才会将新值写入相同的内存位置。在这两种情况下，远程QP将从内存位置读取的值返回给请求QP。另一个原子操作是**FetchAdd**操作，远程QP读取指定的内存位置，将该值返回给请求的QP，向该值添加消息中提供的值，然后将结果写入同一内存位置。

<span style="font-family: Wingdings;color: #222222;letter-spacing: 1px;font-size: 16px;background: #FFFFFF">l <span style="color: #222222; letter-spacing: 1px; font-size: 16px; background: #FFFFFF; font-family: 微软雅黑;">**内存绑定**——改变内存窗口绑定的内存管理操作。绑定内存窗口操作将先前分配的内存窗口与现有内存区域内的指定地址范围以及指定的远程访问权限集相关联。
</span>

对于**接收队列/Receive Queue**，只有一种WR类型：

<span style="font-family: Wingdings;color: #222222;letter-spacing: 1px;font-size: 16px;background: #FFFFFF">l <span style="color: #222222; letter-spacing: 1px; font-size: 16px; background: #FFFFFF; font-family: 微软雅黑;">**接收缓冲区/Post Receive Buffer**——一种**通道语义**操作，描述将传入发送消息写入哪一个本地缓冲区。WR包括一个**散点列表(scatter list)**，描述了几个本地缓冲区段。传入发送消息的内容按指定的顺序写入这些缓冲区段。缓冲区的虚拟地址必须位于创建本地QP的使用者的地址空间中。不带散点收集列表(scatter-gather list)的WR可用于从写操作或零长度发送操作接收即时数据(Immediate Data)。
</span>

无需内核参与的零处理器拷贝数据传输是提供高带宽、低延迟通信的关键。使用者可以通过QP直接从缓冲区在内存中的位置传输缓冲数据。此外，R_Keys和L_Keys(内存注册)提供的保护消除了操作系统验证数据传输的需要。因此，操作系统可以允许从用户模式发布WQE，绕过操作系统，从而消耗更少的指令周期。

IBA操作支持使用虚拟地址和现有的虚拟内存保护机制，以确保正确和恰当地访问所有内存。因此，IBA应用程序不需要对任何操作使用物理寻址。

使用者可以使用两种机制中的任何一种来启用对其内存的远程访问(RDMA)。首先，在注册内存(创建内存区域)时，使用者可以简单地对整个内存区域启用远程访问。如果需要更多的远程访问控制，使用者可以分配一个内存窗口并将其绑定到现有内存区域的子集。任何一种方法都会产生R_Key。然后，使用者向远程节点提供R_Key和数据缓冲区的虚拟地址，以便在后续的RDMA操作中使用。只有具有正确R_Key的RDMA传入请求才能访问内存的特定区域。此外，QP和内存区域或窗口必须在同一保护域中。

## 3.6.2 IBA传输服务

IBA传输机制提供多种通信服务。当创建QP时，它被配置为提供以下传输服务之一：

可靠连接服务将本地QP与一个且只有一个远程QP关联。因此，放置在一个QP上的发送缓冲区WQE使得数据被写入到相关联的QP的接收缓冲区中。RDMA操作在相关联的QP的地址空间上操作。

面向连接的服务要求每个使用者为它希望与其通信的每个使用者创建一个QP。因此，如果N个平台中的每个平台上都有M个使用者都希望通过有连接的服务类别进行通信，那么每个平台都需要M^2×N个QP。这假设特定平台上的每个使用者通过利用将QP连接到同一节点上的QP的能力与同一平台上的使用者(包括自身)进行通信。

**可靠连接**是可靠的，因为通道适配器可以维护序列号并确认所有消息。硬件和信道适配器软件的组合将重试任何失败的通信。QP的使用者即使在存在比特错误、接收缓冲区不足、网络拥塞以及如果Fabric中存在备用路径、结构交换机或链路故障，也可以看到可靠的通信。

确认/acknowledgment确保数据在相关联的QP之间可靠地传递，从而在每个节点的内存之间传递。

确认不是使用者级别的确认，它不验证接收使用者是否已使用数据。确认只表示数据已到达目的地。

**不可靠连接**服务还将本地QP与一个且仅一个远程QP相关联。因此，放置在一个QP上的发送缓冲区请求导致将数据写入其相关联的QP的接收缓冲器中。RDMA写操作在相关联的QP的地址空间上操作。

与可靠连接服务不同，不可靠连接不进行确认，因此无法重新发送丢失或损坏的消息。相反，丢失或损坏的消息只会被丢弃。因为没有确认，所以不支持RDMA读取和原子操作。由于RDMA写入的数据包可能丢失或损坏，缓冲区可能会部分写入，但一旦收到丢失或损坏的数据包，写入操作将停止，直到新消息开始。

**不可靠数据报**服务是无连接和未确认的。它允许QP的使用者与任何节点上任何不可靠的数据报QP通信。接收操作允许来自任何节点上任何不可靠数据报QP的传入消息。

不可靠数据报服务大大提高了IBA的可扩展性。由于服务是无连接的，与使用可靠连接和不可靠连接服务的数量相比，具有固定数量QP的终端节点可以与更多的使用者和平台进行通信。

这是管理层用来发现和集成新的IBA交换机和终端节点的服务类别。它不提供其他服务类的可靠性保证，但在每个端节点上维护的状态较少。与其他由多个数据包传送消息的服务不同，最大消息长度在大小上受到限制，以适合单个数据包。

**可靠数据报\(RD)**服务通过称为端到端上下文(EEC)的节点之间的连接进行多路复用，该连接允许每个RD QP与具有已建立EEC的任何节点上的任何RD QP通信。**多个QP可以使用同一个EEC**，单个QP可以使用多个EEC(每个可靠数据报域的每个远程节点一个EEC)。

**可靠数据报域(RDD)**确定哪些RD QP可以访问哪些EEC集。多个RDD的一些可能原因是不同分区中的流量、不同的QoS特性、安全性和性能。

EEC使用与每个消息相关联的序列号和确认，以确保与可靠连接服务相同程度的可靠性。每个通道适配器维护每个节点的端到端特定状态，以跟踪序列号、确认和超时值。每个EEC由该RDD的所有可靠数据报QP共享。

对于基于每个RDD的可靠数据报服务，每个使用者只需创建一个QP，节点为与其通信的**每个平台**创建一个EE上下文。因此，如果N个平台上的每个平台上都有M个用户希望通过IBA可靠数据报服务进行通信，那么每个平台都需要M QP和N个端到端上下文。

**扩展可靠连接(XRC)**服务是前两种服务的混合：在请求端，它的行为与正常的可靠连接发送队列的行为相同，但在接收端，存在一种与可靠数据报服务的接收端在概念上相似的数据结构。**XRC服务的目标是提高all-to-all数据模式的可扩展性，但同时限制两端所需的数据结构的增长**。XRC实现了它的目标，而不会在可靠的数据报服务(仅限于单包消息)中产生明显的约束。

**原始数据报**是允许QP发送和接收原始数据报消息的数据链路服务。原始数据报服务有两种类型(EtherType和IPv6)。EtherType原始数据报包包含一个通用传输报文头，通道适配器不解释该头，但它指定协议类型。IPv6原始数据报包含标识协议类型的全局路由报文头。

使用IPv6原始数据报服务，IBA信道适配器可以支持基于IPv6的标准协议，如TCP和UDP。因此，原生IPv6数据包可以桥接到IBA SAN，并直接传送到端口及其IPv6原始数据报QP。这允许原始数据报QP使用者支持多个传输协议。

IBA通道适配器使用EtherType原始数据报服务，可以支持与以太网相同的标准协议，包括TCP和UDP以及IPv4。因此，原生以太网数据包可以桥接到IBA子网，并直接传送到端口及其以太型原始数据报QP。

创建QP时，使用者向通道适配器注册，以便将接收到的数据报定向到它(一个QP用于IPv6，另一个用于EtherType)。

# 3.7 IBA分层架构

IBA操作可以描述为一系列的层。每个层的协议独立于其他层。每一层都依赖于其下一层的服务，并向其上一层提供服务。

## 3.7.1 物理层

物理层指定如何将bits放在导线上以形成符号，并定义用于成帧(即，包的开始和结束)、数据符号和**包之间填充(idle)**的符号。它规定了关于构造有效数据包的信令协议(即，符号编码、帧符号的正确对齐、起始和结束限定符之间没有无效或非数据符号、无不一致错误、同步方法等)。

物理层规范在第2卷中。它规定了比特率、媒介、连接器、信令技术等。

## 3.7.2 链路层

链路层描述了分组操作的分组格式和协议，例如，流控制以及分组如何在源和目的地之间的子网中路由。有两种类型的数据包(分组)。

<span style="font-family: Wingdings;color: #222222;letter-spacing: 1px;font-size: 16px;background: #FFFFFF">l <span style="color: #222222; letter-spacing: 1px; font-size: 16px; background: #FFFFFF; font-family: 微软雅黑;">**链路管理包**——这些包用于训练和维护链路操作。这些包是在链路层中创建和使用的，不受流控制。链路管理包用于协商链路两端端口之间的操作参数，如比特率、链路宽度等。它们还用于传输流控制信用和维护链路完整性。链路管理包从不转发到其他链路。
</span>

**本地路由报文头(LRH)**始终存在，它标识交换机将数据包进行路由的本地源端口和本地目标端口，并指定数据包在其上传输的服务级别(SL)和VL。VL随着数据包穿过子网而改变，但其他字段保持不变。

子网管理器为信道适配器的每个端口以及交换机的管理实体分配唯一的LID。源将目的地的LID放在LRH中，交换机将包路由到该目的地。如果要将数据包路由到另一个子网，则该数据包的目标LID包含路由器的LID，否则，数据包的目标LID指定分配给信道适配器(或交换机，用于某些管理数据包)的LID。

每个包中有两个CRC。**不变CRC(ICRC)**覆盖了所有在分组遍历结构时不应改变的字段。**可变CRC(VCRC)**覆盖了包的所有字段。这两个CRC的组合允许交换机和路由器修改适当的字段，并且仍然保持分组的传输控制和数据部分的端到端数据完整性。是否包含到另一个ICRC的子网的路由，取决于另一个ICRC的覆盖范围(是否包含全局路由报文头)。

**链路级流量控制**是一种基于Credit的方法，每个链路上的接收方向链路另一端的发送方发送信用。Credit是逐VL的，表示接收方可以在该VL上接受的数据包的数量。发送方不发送数据包，除非接收方指示它有空间。VL15(管理VL)不受流量控制。

## 3.7.3 网络层

网络层描述了在子网之间路由数据包的协议。

**全局路由报文头(GRH)**存在于穿越多个子网的数据包中。GRH使用IPv6地址格式的GID标识源端口和目标端口。路由器根据GRH的内容转发数据包。当数据包通过不同的子网时，路由器会修改GRH的内容并替换LRH。但是，来源地和目的地的GID没有改变，并且受到ICRC的保护。路由器重新计算VCRC，而不是ICRC。这样可以保持端到端传输的完整性。

每个子网都有一个唯一的**子网ID**，即**子网前缀**。当与端口GUID**组合时，此组合将成为端口的全局ID(GID)**。节点可能具有其他本地管理的全局ID。源将目的地的GID放在GRH中，路由器的LID放在LRH中。每个路由器通过下一个子网将数据包转发到另一个路由器，直到数据包到达目标子网。最后一个路由器使用目的地的盖子替换LRH。

## 3.7.4 传输层

网络和链路协议将数据包传送到所需的目的地。分组的传输层协议部分负责将分组传送给适当的QP，并指示QP如何处理分组的数据。

当消息的数据负载大于路径的最大传输单元(MTU)时，传输层负责将一个传输操作分段/分割成多个包。接收端的QP将数据重新组合到其内存中指定的数据缓冲器中。

**基本传输报文头(BTH)**存在于除原始数据报之外的所有数据包中。它指定目标QP并指示操作代码、分组序列号和分区。

**操作代码/操作码(operation code)**标识数据包是消息的第一个、最后一个、中间包还是唯一的包，并指定操作(Send、RDMA Write、Read、Atomic)。

**分组序列号(PSN)**被初始化为通信建立过程的一部分，并且在QP每次创建新分组时递增。接收QP跟踪接收到的PSN以确定它是否丢失了分组。为了提供可靠的服务，接收方发回一个ACK或NAK包，以通知发送方数据包是否被正确接收。在数据包丢失的情况下，接收方丢弃后续的数据包，直到发送方重新发送丢失的消息/数据包。对于未确认的服务(不可靠的传输服务)，当接收者检测到有丢失的数据包时，它会中止当前操作并丢弃所有后续的数据包，直到它接收到指定第一个或唯一一个操作代码的数据包为止(新消息/操作)，然后操作继续。

根据服务类别和操作代码，有条件地存在各种**扩展传输报文头(ETH)**。

对于可靠的数据报服务，ETH报文头用于标识QP用来检测丢失包的EE上下文。

**RDMA读或写操作的第一条消息包含一个RDMA ETH，它指定要读或写的数据缓冲区的虚拟地址、R_Key和总长度**。随后的RDMA写入数据包提供剩余的数据。QP验证内存是否正确注册以供QP访问，并且写入的总数据没有超出指定的长度。对于RDMA读取操作，QP获取数据，将其分割为读取响应包并将其发送给发起方。当接收到RDMA响应时，QP将数据写入RDMA Read请求的WQE中指定的缓冲区。

**原子操作**包含一个**原子ETH (Atomic ETH)**，该ETH指定作为操作对象的内存位置的虚拟地址和R_Key以及2个操作数。QP验证内存是否正确注册以供该QP访问。QP获取数据，将该值返回给发起方，执行操作，并将结果写回内存。对于Compare&Swap操作，QP将内存位置的内容与第一个操作数进行比较，如果它们匹配，则将第二个操作数写入同一位置。否则它不会修改它。对于Fetch&Add操作，QP使用原子ETH中的64位Add数据字段执行无符号加法，并将结果写回相同的内存位置。在这两种情况下，操作是原子的，这样在读取和随后的写入之间不允许另一个QP修改该内存位置。

**立即数据(IMMDT)**字段可以选择性地出现在RDMA写入和发送消息中。它包含使用者放入Send或Write请求中的数据，接收QP将该值放入当前接收WQE中。即使QP没有将任何数据放入接收缓冲区，但具有立即数据的RDMA写入将消耗接收WQE，因为IMMDT被放置在引用接收WQE并指示WQE已完成的CQE中。

**对于可靠的连接服务，IBA定义了端到端的消息级流控制**。这允许接收方在WQE被发布到接收队列时向发送方发送Credit。QP跟踪从接收队列中发布和退出的WQE的数量，并跟踪接收到的消息的数量。它将这些数字加在一起，以获得一个发送到连接另一端的发送方的消息限制值。发送器跟踪它创建的消息总数，当它达到连接另一端建立的限制值时停止传输。

## 3.7.5上层协议

如图29所示，IBA支持不同用户的任意数量的上层协议。IBA还为某些管理功能定义了消息和协议。这些管理协议分为子网管理和子网服务。它们都有独特的特性。

### 3.7.5.1 子网管理

子网管理实际上分为**子网管理器(SM)应用程序**和**子网管理代理(SMA)**。每个子网只需要一个子网管理器，它可以驻留在任何节点中，包括交换机和路由器。子网管理使用一种特殊的管理数据报(MAD)，称为子网管理包(SMP)，它被定向到一个特殊的队列对(QP0)。如图30所示，每个端口都有一个QP0，每个节点都包含一个SMA：

子网管理器：

### 3.7.5.2 一般服务

一般服务代理(GSA)实际上由许多管理服务代理组成，如图31所示。有些服务是可选的。通用服务使用一种称为通用管理包(GMP)的消息格式，它是一种管理数据报(MAD)，通常定向到一个称为通用服务接口(GSI)的特殊队列对(QP1)。如**图31**所示，每个端口都有一个QP1，在QP1上接收到的所有GMP都由其中一个GSA处理。GSA实际上能够将其特定服务类的GMP重定向到另一个队列对，从而允许每个GSA维护自己的通信接口。

<center>Figure 31 General Services
</center>

# 3.8 IBA处理流程

使用者通过称为队列对的数据结构与IBA信道适配器交互，队列对由发送队列和接收队列组成。消息是通过发布一个工作请求来启动的，该工作请求导致WQE被放置在发送队列上。一般来说，QP是对称的，这意味着业务可以在任何方向上传输。XRC服务有一个例外，它是不对称的。

通道适配器检测WQE发布并访问WQE。通道适配器解释命令，验证WQE的虚拟地址，将其转换为物理地址，并访问数据。待发送的消息缓冲区被拆分为一个或多个数据包。信道适配器为每个分组添加一个传输报文头(序列号、操作码等)。如果目标/目的地位于远程子网中，则通道适配器将添加一个网络标头(源和目标GID)。然后，通道适配器添加本地路由报文头，并计算可变和不变校验和。

每个链路上的数据包流受链路级协议的约束。

包是通过IBA Fabric路由的信息单元。数据包是一个端到端的概念，因为它是由端节点创建和使用的。当数据包通过交换机时，交换机可能需要改变虚拟通道，因此必须用一个新的值替换可变CRC，但它不接触不变CRC。如果数据包通过路由器，路由器将更改本地路由报文头并更新全局路由报文头中的字段，再次更新可变CRC，但不更改不变CRC。每个交换机和路由器都会将数据包转移到离其最终目的地更近的地方。

当一个包到达它的最终目的地时，它会经过正常的有效性检查(例如，帧冲突、不一致/disparity、非法字符、对齐等)，并且VCRC和ICRC都会被检查完整性。传输报文头标识目标QP，信道适配器使用来自该QP的上下文来验证包是否来自正确的源等，并检查包序列号是否有效(没有丢失的包)。对于发送操作，QP从其接收队列上的下一个WQE检索接收缓冲区的地址，将其转换为物理地址，并访问写入数据的内存。如果这不是消息的最后一个分组，则QP在其上下文中保存当前写入位置并等待下一个分组，此时它继续写入接收缓冲器，直到它接收到指示其是操作的最后一个分组的分组。然后它更新接收WQE，使其失效，并向发送端发送确认消息。

对于可靠的服务类型，如果QP检测到一个或多个丢失的包，它将向发端者发送NAK消息，指示其下一个预期序列号。发送端可以从期望的数据包开始重新发送。

当发送端收到确认时，它在CQ上创建一个CQE，并从发送队列中撤回WQE。

一个QP可以在任何时候有多个未完成的消息，但是目标/接收端总是按照发送的顺序进行确认，因此WQE按照它们被发布的顺序失效。

# 3.9 IBA管理基础设施

IBA管理为以下方面定义了一个通用的管理基础设施：

----- 子网管理—为节点提供SM收集的信息，并为节点提供注册器，以注册其提供的通用服务。

----- 终端节点之间的通信建立和连接管理

----- 发现和管理通道适配器“背后”的I/O设备的机制

----- 配置管理—向主机分配I/O资源的权限

----- 性能管理—监视和报告定义良好的性能计数器

----- 基板管理—提供使用第2卷中定义的IB-ML进行电源和机箱管理

<span style="font-family: Wingdings;color: #222222;letter-spacing: 1px;font-size: 16px;background: #FFFFFF">l <span style="color: #222222; letter-spacing: 1px; font-size: 16px; background: #FFFFFF; font-family: 微软雅黑;">SNMP隧道(SNMP)—提供在管理代理和管理应用程序之间发送和接收信息的方法。这包括简单网络管理协议(SNMP)、桌面管理接口(DMI)和公共信息模型(CIM，Common Information Model)，以及其他标准和专有接口。
</span>

子网管理物理和逻辑模型如**图32**所示。通用服务模型如**图33**和**图34**所示。

每个通道适配器、交换机和路由器都有一个子网管理代理(SMA)，它响应子网管理数据包。SM和SMA之间的通信使用称为**子网管理接口(SMI，Subnet Management Interface)**的众所周知的接口，其中每个端口都有一个QP，QP编号为0 (QP0)，专门用于发送和接收SMP。

**保护/Protection**—子网管理器可以在每个节点中放置一个其他节点无法读取的密钥(M_Key)，并防止没有M_Key的节点修改节点的配置。SM只在必要时与受信任的对等方共享M_Key。IBA还提供了一种租约到期(**lease expiration**)机制，这样如果SM在与后续SM共享M_Key信息之前死亡，租约将过期，并且节点返回到允许后续SM建立新M_Key。

IBA管理定义了允许IBA设备和相应Fabric被发现、初始化和控制的底层接口和原则。它定义了一个适用于IBA管理元素的通用管理模型和框架，识别这些元素，并定义了它们的管理特性。管理应用程序使用此基础结构来管理IBA设备并与其他管理应用程序通信。

IBA管理基础设施支持许多不同的管理服务类，并在逻辑上为任何节点提供一个类管理器。**图34**展示了管理类使用管理基础设施的不同方式。

<span style="font-family: Wingdings;color: #222222;letter-spacing: 1px;font-size: 16px;background: #FFFFFF">l <span style="color: #222222; letter-spacing: 1px; font-size: 16px; background: #FFFFFF; font-family: 微软雅黑;">托管代理模型(Managed Agent Model)允许类管理器或管理应用程序通过为每个要管理的节点上存在的类定义的通用服务代理(GSA)来管理节点。这是用于子网管理的同一模型，也是用于I/O设备管理、基板管理、SNMP和性能管理类的模型。
</span>

<span style="font-family: Wingdings;color: #222222;letter-spacing: 1px;font-size: 16px;background: #FFFFFF">l <span style="color: #222222; letter-spacing: 1px; font-size: 16px; background: #FFFFFF; font-family: 微软雅黑;">托管服务模型(Managed Service Model)允许管理应用程序访问类管理器。这是用于子网管理和I/O资源管理类的模型。
</span>

IBA管理包含多种概念，包括：

IBA为操作系统提供了限制对管理基础设施的访问的方法。对于SMI，子网管理数据包必须来自QP0。GSI使用一个特权Q_Key(即，具有最高有效位集的Q_Key)。主机通道适配器不允许在工作请求中指定特权Q_Key，而是必须通过使用特权Q_Key配置QP上下文来为特权操作配置QP。这允许管理应用程序和类管理器维护自己的QP。GSI使用QP1进行初始通信，但允许将特定类的流量重定向到特权QP。

## 3.9.1 管理数据报

IBA定义了支持常用处理的管理消息的标准格式。每个MAD包含相同的头格式，用于标识管理消息的类和方法。SMP其中一类是管理消息，另一类是直接路由SMP。其他类的MAD称为通用管理包(GMP)，包括子网管理、通信管理、性能管理、SNMP、设备管理和基板管理。

MAD以一个标准报文头开始，它携带所有类的公共信息。对于使用**可靠多包协议(RMPP，reliable multi-packet protocol)**的类，后面紧接着一个附加的RMPP信息头。RMPP是一种协议，它允许管理实体交换比单个MAD所能容纳的更多的数据。RMPP可由任何管理类使用。例如，子网管理类使用它向客户机提供有关节点之间路径集合的信息。

## 3.9.2 管理方法

IBA定义了任何类别可采用的通用方法。它们包括Get、Set、GetResp、Send、Trap、TrapRepress、Report和ReportResp。当然，每个管理类都定义了自己的一组属性。这些方法对于许多类来说已经足够了，但是IBA也提供了类特定的方法。

### 3.9.2.1 获取和设置/GETS & SETS

Get和Set是MAD最常用的用法，尤其是SM。SM轮询Fabric并通过发送SMP Get请求消息来了解其拓扑结构。每个目的地通过发送包含所请求数据的GetResp响应消息进行响应。SM通过发送Set请求消息来配置IBA设备。这实际上是一个Set&Get请求。每个目的地通过发送一个GetResp响应消息进行响应，该消息包括Set操作之后的数据值。由于并非所有参数都是可设置的，或者它们可能有限制，所以发起人检查响应消息以确定设置请求消息的真实效果。

### 3.9.2.2 陷阱和通知/TRAPS AND NOTICES

**陷阱/Trap**是管理代理在发生某些异步管理事件(如协议冲突)时发送给其类管理器的消息。**通知**是可以在托管节点的通知队列中排队的属性，可以由类管理器检索和清除。陷阱消息的数据以notice属性的形式存在。类管理器用有关发送陷阱的位置的信息对节点进行编程，当节点从类管理器接收到TrapRepress时，它停止发送陷阱。

当某些事件发生时，IBA设备使用SMP向子网管理器发送陷阱。其中一种用法是当交换机检测到其某个端口上的状态更改(即拓扑更改和/或设备加入或离开)时，向子网管理器发送陷阱。当然，由于SMP是不可靠的，SM不能仅仅依赖于这种类型的通知，但是成功的陷阱将减少管理拓扑更改的延迟。

### 3.9.2.3 发送/SENDS

Send()是一种管理方法，其中一个实体在特定于类的基础上向另一个实体发送数据。与Get和Set不同的是，在Get和Set中，响应与请求包含相同的属性和事务ID，但没有对Send的显式响应。基于Send的管理协议可能会用另一个Send响应，后者可能包含完全不同的属性。在这种情况下，需要在属性中包含信息，以便将一个Send与另一个Send关联起来。

### 3.9.2.4 报告/Reports

管理基础设施为管理实体提供了一种订阅类管理器的方法，以便使类管理器转发从它控制的管理代理接收的陷阱。管理实体通过向类管理器发送一个集合来订阅，该集合标识类管理器转发陷阱的端口和QP。当类管理器接收到陷阱时，它将Notice属性以Report MAD的形式转发给订阅的实体，实体用ReportResp MAD响应，让类管理器知道它收到了报告。类管理器继续发送报告，直到订阅的实体以ReportResp响应。

## 3.9.3 管理接口

IBA为管理接口定义了两个众所周知的QP。**QP0是为子网管理保留的，QP1是为通用管理服务而指定的。**

## 3.9.4 子网管理接口

每个IBA端口都有一个QP专用于子网管理。这是QP0。与其他QP相比，QP0具有独特的特性。

### 3.9.4.1 Fabric初始化

子网管理器使用此服务接口轮询和配置Fabric。交换机支持一种称为**直接路由(directed routing)**的特殊路由模式，该模式允许在交换机配置转发数据库之前以及在为节点分配本地ID(Local ID)之前，通过交换机路由SMP。子网管理器通过Fabric向设备发送SMP并发现它是否是交换机。使用直接路由，它可以将SMP发送到交换机的每个端口，以发现连接到交换机的设备。这个过程一直持续到子网管理器发现所有设备以及它们是如何互连的。

一旦SM了解到子网的拓扑结构，它就用本地ID来配置每个节点，并配置交换机的路由表。一旦配置了Fabric，就可以使用目标路由发送SMP。

IBA允许每个子网有多个子网管理器，但主管理器只能有一个。因此，IBA定义了子网管理器如何检测另一个子网管理器的存在，以及选择哪个子网管理器的仲裁机制。

### 3.9.4.2 直接路由/Directed Routes

SMP可以指定它通过Fabric的路由。这是通过在SMP中包含定义通过子网的路径(即路径向量/Path Vector)的端口号列表来实现的。**路径向量指定路径上每个交换机的输出端口**。数据包包含两个路径向量(一个用于正向路由，一个用于反向路由)，一个指示要遍历哪个路径向量的方向位(**direction bit**)，以及一个表示路径向量中当前位置的跳指针(**hop pointer**)。反向路径向量由交换机在处理正向路径向量时生成。

当交换机接收到直接路由的SMP时，它使用当前跳指针来标识它在路径向量中的位置。如果方向是“正向/forward”，它从正向路径向量确定输出端口，通过添加接收SMP的端口号来更新反向路径向量，增加当前跳指针，然后将包转发到指定的输出端口。当包到达目的地时，目标设备通过简单地改变方向位的意义并将应答SMP发送到接收它的端口，从而使用反向路由字段进行应答。因为方向是“反向/reverse”的，每个交换机现在都会减小当前跳指针，使用它来确定原始输入端口，然后将数据包发送到该端口。

## 3.9.5 通用服务接口

每个IBA通道适配器都有一个专用于通用Fabric服务的QP。这是QP1。与其他QP相比，QP1具有独特的特性。

### 3.9.5.1 重定向/Redirection

QP1作为一个众所周知的接口有其优点和缺点。一个缺点是，所有管理类都进入同一个队列，这会导致瓶颈并导致头阻塞。因此IBA定义了一种机制，允许信道适配器将通用服务请求重定向到其他QP。

当通道适配器在QP1上接收到GMP时，它可能会响应一个指示新端口和QP的重定向响应。然后，发端者将请求重新发送到新地址，并将该地址用于同一管理类的所有后续请求。

# 3.10 I/O操作

IBA I/O体系结构支持从简单的本地设备到大规模I/O子系统的一系列I/O实现。I/O单元的模型如**图35**所示。I/O单元由一个通道适配器和若干个I/O控制器组成。I/O单元的信道适配器称为**目标信道适配器(TCA)**。TCA具有与HCA相同的功能，但与HCA不同，它不一定是为一般用途(**general use**)设计的，这意味着它只需要支持其控制器所需的功能。

I/O控制器代表处理I/O事务请求的硬件和软件。I/O控制器的示例有SCSI接口控制器、RAID处理器、存储阵列处理器、LAN端口控制器、磁盘驱动器控制器、控制台服务。

I/O单元包含一个子网管理代理(SMA)，它对QP0上接收到的SMP作出响应。I/O单元还包含对GSI(QP1)上接收到的GMP作出响应的通用服务代理(GSA*)。GSA*至少包含通信管理和I/O设备管理(DevMgt)。每个I/O控制器都注册到DevMgt GSA，这样它就可以用关于控制器的特定信息来响应DevMgt GMP。

通常，处理器节点中的I/O资源管理器将DevMgt GMP发送到I/O单元以发现控制器的属性。这些属性包含足够的信息，供I/O资源管理器识别适当的I/O驱动程序。如有必要，I/O资源管理器加载驱动程序，并使用控制器标识(IO单元和控制器ID)配置I/O驱动程序。然后，I/O驱动程序在处理器节点上创建适当的通信端口(即QP)，并调用处理器节点的通信管理器来创建与I/O控制器的适当连接。建立连接后，I/O驱动程序通过连接交换控制消息和数据。

驱动程序使用的通信端口数是一个实现变量。I/O驱动程序可以使用任何可用的服务类别(可靠连接、不可靠连接、可靠数据报或不可靠数据报)，并且可以为不同的通信端口使用不同的服务类别。

> 参考资料："IB Specification Vol 1-Release-1.3-2015-03-03.pdf"

> <span style="font-style: italic;">声明：本文禁止转载！素材来源于网络，仅供学习使用，如有侵权请联系网站删除(ngdcn_admin@163.com)。由于本人水平有限，如有纰漏，请以参考资料为准。</span>

Infiniband手册