当前位置：首页 > 存储 > 正文

什么是 NVMe-oF？

存储
2022-11-02
1715
更新：2022-11-02 15:39:35

> 作者： Juan Mulford

近年来，我们不断体验到存储性能如何变得越来越快，这对已经成为数据中心瓶颈的旧存储协议提出了挑战。尽管使用了最新的 100GbE 结构速度和新的网络标准，例如 InfiniBand，但这些慢速网络协议技术限制了闪存设备的性能，将其保留在设备本身内部并隔离在盒子中。在本文中，我们将快速了解非易失性内存表达 (NVMe)。此外，我们概述了 NVMe over Fabrics (NVMe-oF) 和 NVMe over RDMA over Converged Ethernet (NVMe over RoCE)，这是一种为解决现代存储网络瓶颈而开发的新协议规范。

由于云和数据中心始终需要低延迟和高吞吐量，因此围绕 NVMe over Fabrics 进行了很多讨论。NVMe 规范已经存在不到十年，而且由于 NVMe-oF 也相对较新，因此对其实践以及它如何使企业受益仍然存在许多误解。这项技术一直在不断发展，并在 IT 行业中得到广泛采用。我们开始看到多家网络供应商向企业市场提供 NVMe-oF 相关产品。因此，为了跟上先进的数据中心技术，了解 NVMe-oF 是什么、功能及其性能特征至关重要。此外，如何部署它以及我们如何将这项技术结合到不同的新解决方案中。

## **NVMe 和 NVMe-oF**

全闪存阵列 (AFA) 出现在数据中心以响应对高性能的需求，因为它们比传统存储快得多，能够毫不费力地达到市场上一直承诺的 1M IOPS。但是，这些阵列中的许多阵列一直使用近乎传统的存储技术 SATA SSD。这种类型的存储基于 AHCI（高级主机控制器接口）命令协议并支持 IDE。AHCI 本质上是为旋转磁盘构建的，而不是为先进的基于闪存的驱动器构建的。这种基于 SCSI 的技术为当今的 SSD 和存储阵列控制器造成了瓶颈，因为带有 AHCI 的 SATA III 总线仅允许高达 600MB/s 的数据传输速度。

<center>表 1 : 常见bus速度 </center>

为了释放 SSD 的全部功能，我们需要新技术来更快地卸载闪存。NVMe 是一种使闪存存储（或 SSD）能够真正利用闪存性能的规范。该技术于 2014 年首次推出，旨在提高应用程序响应时间，提供新的更好的功能。NVMe固态硬盘的外形有很多种，最广为人知的有AIC（外接卡）、U.2、U.3和M.2。NVMe SSD 通过直接连接到计算机或服务器中利用外围组件互连高速 (PCIe) 高速总线。从本质上讲，NVMe 降低了 CPU 开销并简化了降低延迟的操作，增加了每秒输入/输出操作 (IOPS) 和吞吐量。例如，NVMe SSD 提供高于 3,000MB/s 的写入速度。如果我们与 SATA SSD 相比，

使用 NVMe，IOPS 并行执行，允许同时进行许多计算。大任务可以分成几个小任务独立处理。类似于多核 CPU，使用多个线程。每个 CPU 内核可以彼此独立工作以执行特定任务。

队列深度 (QD) 是 NVMe 相对于 AHCI 的另一个优势。虽然 ACHI 和 SATA 可以处理 32 个队列深度（1 个队列和 32 个命令），但 NVMe 可以处理高达 65K 的队列深度。这些是 65K 队列，其中每个队列可以容纳多达 65K 个命令。除了减少延迟外，这还提高了处理并发请求的繁忙服务器的性能。

然而，数据中心的问题仍然存在于存储网络协议上。尽管 NVMe 兴起，但它的收益仅限于每个单独的设备。事实上，闪存和其他企业级（昂贵）设备，例如 AFA，并不是为了将其卓越的性能隔离在机箱内。相反，它们旨在用于大型并行计算机集群，将它们与其他和多个设备（例如其他服务器和存储）连接起来。这种设备的互连就是我们所说的结构，即存储网络，包括交换机、路由器、协议桥、网关设备和电缆。

2016 年推出了 NVMe-oF 行业标准。协议规范使用以太网、光纤通道、RoCE 或 InfiniBand 将 NVMe 令人难以置信的性能从存储阵列控制器扩展到结构。NVMe-oF 使用替代数据传输协议（通过结构）作为传输映射，而不是 NVMe 使用的 PCIe 总线。Fabrics 建立在发送和接收消息的概念之上，而端点之间没有共享内存。NVMe 结构消息传输将 NVMe 命令和响应封装到基于消息的系统中，该系统包括一个或多个 NVMe 命令或响应。

在 NVMe-oF 中，目标以命名空间的形式呈现，相当于 SCSI LUN。NVMe-oF 允许主机在更远的距离与这些存储目标进行通信，同时保持超低延迟，以微秒 (μs) 为单位。简而言之，我们在系统和闪存之间获得了更好的性能，而不会显着增加结构延迟。这种低延迟在一定程度上可以实现前面提到的 NVMe 队列深度。NVMe-oF 可以处理与 NVMe 相同的队列，65K *。* 这个惊人的数字使得 NVMe-oF 可以在主机和驱动器之间设计一个高度并行的架构，为这些设备中的每一个使用单独的队列。

## **NVMe 结构传输**

NVMe 支持和使用的三种结构传输是使用 RDMA 的 NVMe-oF、使用光纤通道的 NVMe-oF 和使用 TCP 的 NVMe-oF。

**NVMe-oF over RDMA**

该规范使用远程直接内存访问 (RDMA)，使数据和内存能够通过网络在计算机和存储设备之间传输。RDMA 是一种在网络中两台计算机的主内存之间交换信息的方式，而不涉及任何一台计算机的处理器、缓存或操作系统。由于 RDMA 避免了操作系统，因此它通常是通过网络传输数据的最快和最低开销的机制。

NVMe-oF over RDMA 使用 TCP 传输协议跨 IP 网络传送数据典型的 RDMA 实施包括虚拟接口架构、融合以太网 (RoCE) 上的 RDMA、InfiniBand、Omni-Path 和 iWARP。目前使用最多的是 RoCE、InfiniBand 和 iWARP。

**NVMe over Fibre Channel**

使用 NVMe over Fibre Channel (FC) 的组合通常称为 FC-NVMe、NVMe over FC，有时也称为 NVMe/FC。光纤通道是一种用于在存储阵列和服务器之间传输数据的强大协议，大多数企业 SAN 系统都使用它。在 FC-NVMe 中，命令被封装在 FC 帧中。它基于标准 FC 规则，与支持访问共享 NVMe 闪存的标准 FC 协议相匹配。SCSI 命令封装在 FC 帧中；但是，将它们解释和转换为 NVMe 命令会带来性能损失。

**基于 TCP/IP 的 NVMe**

这种传输类型是 NVMe-oF 中的最新发展之一。NVMe over TCP（传输控制协议）使用 NVMe-oF 和 TCP 传输协议跨 IP（以太网）网络传输数据。NVMe 通过以太网作为物理传输在 TCP 数据报内传输。尽管有 RDMA 和光纤通道，但 TCP 提供了一种可能更便宜、更灵活的替代方案。此外，与同样使用以太网的 RoCE 相比，NVMe/TCP 的性能更像 FC-NVMe，因为它们使用消息传递语义进行 I/O。

将 NVMe-oF 与 RDMA、光纤通道或 TCP 结合使用，可构建完整的端到端 NVMe 存储解决方案。这些解决方案提供显着的高性能，同时通过 NVMe 保持极低的延迟。

## **NVMe over RDMA over Converged Ethernet (RoCE)**

在 RDMA 协议中，RoCE 脱颖而出。我们知道 RDMA 和 NVMe-oF 是什么，现在我们有了融合以太网 (CE)，即通过以太网支持 RDMA。CE 就像一个增强的以太网版本，也称为数据中心桥接和数据中心以太网。它封装了以太网上的 InfiniBand 传输数据包。其解决方案提供了链路级流量控制机制，即使在网络饱和时也能确保零丢失。RoCE 协议允许比其前身 iWARP 协议更低的延迟。

RoCE 有两个版本，RoCE v1 和 RoCE v2。RoCE v1 是以太网第 2 层（链路）协议，允许同一以太网广播域中的两台主机之间进行通信。因此，它不能在子网之间路由。新选项是 RoCE v2，它是 UDP/IPv4 或 UDP/IPv6 协议之上的协议。RoCE v2 是以太网第 3 层（互联网）协议，这意味着它的数据包可以路由。对 RoCE v2 的软件支持仍在不断涌现。Mellanox OFED 2.3 或更高版本支持 RoCE v2 以及 Linux Kernel v4.5。

NVMe over RoCE 是一种新型 SAN。该协议提供与 SAN 硬件和软件相同的企业数据服务性能和灵活性。尽管 RoCE 协议受益于融合以太网网络的特性，但该协议也可以用于传统或非融合以太网网络。要配置 NVMe over RoCE 存储结构，NIC、交换机和 AFA 必须支持融合以太网。NIC（称为 R-NIC）和全闪存阵列必须为 RoCE 提供支持。带有 R-NIC 和带有 NVMe over RoCE 接口的 AFA 的服务器将与安装的 CE 交换机即插即用。

## **NVMe-oF over RoCE 对 VMware 的支持**

VMware 添加了对使用 NVMe-oF 的共享 NVMe 存储的支持。对于外部连接，vSphere 7.0 支持 NVMe over Fibre Channel 和 NVMe over RDMA。ESXi 主机可以使用 RDMA over Converged Ethernet v2 (RoCE v2)。为了使用 RDMA 启用和访问 NVMe 存储，ESXi 主机使用主机上的 R-NIC 适配器和 SW NVMe over RDMA 存储适配器。必须在两个适配器中配置配置才能将它们用于 NVMe 存储发现。

使用 NVMe-oF 时，目标以主动/主动或非对称访问模式 (ALUA) 的名称呈现给主机。这使 ESXi 主机能够发现和使用提供的命名空间。ESXi 在内部将 NVMe-oF 目标模拟为 SCSI 目标，并将它们呈现为主动/主动 SCSI 目标或隐式 SCSI ALUA 目标。

NVMe over RDMA 要求：

<span>◼ </span>支持 RDMA (RoCE v2) 传输的 NVMe 阵列

<span>◼ </span>兼容的 ESXi 主机

<span>◼ </span>支持无损网络的以太网交换机。

<span>◼ </span>支持 RoCE v2 的网络适配器

<span>◼ </span>SW NVMe over RDMA 适配器

<span>◼ </span>NVMe 控制器

<span>◼ </span>如今，RoCE 在支持 ZTR（零接触 RoCE）的有损结构上运行，或者需要配置的网络以仅在第 2 层或在第 2 层和第 3 层（使用 PFC）进行无损信息流量

**在 ESXi 主机上设置 NVMe-oF 时，应遵循一些做法。**

<span>◼ </span>不要混合传输类型来访问相同的命名空间。

<span>◼ </span>确保将所有活动路径呈现给主机。

<span>◼ </span>NMP 未使用/不支持；相反，HPP（高性能插件）用于 NVMe 目标。

<span>◼ </span>您的 NVMe 目标必须具有专用链接、VMkernel 和 RDMA 适配器。

<span>◼ </span>专用的第 3 层 VLAN 或第 2 层连接

<span>◼ </span>限制：

<span>   </span><span>✸ </span>命名空间-32

<span>   </span><span>✸ </span>Paths=128（主机上最多 4 个路径/命名空间）

## **结论**

随着越来越多的人依赖云服务中的数据，对数据中心更快的后端存储的需求也在不断增长。NVMe 是一种与闪存设备交互的更新方式，并且沿着 NVMe-oF，这些技术一直在推进外部连接选项。NVMe-oF 及其不同类型的传输开始被认为是数据存储的未来。这些存储设备和设备被认为是数据中心的核心，因为互连结构中的每一毫秒都很重要。NVMe 技术减少了内存映射的输入/输出命令并适应操作系统设备驱动程序，以实现更高的性能和更低的延迟。

NVMe 因其低延迟和高吞吐量的多任务处理速度而变得越来越流行。虽然 NVMe 也被用于个人计算机以改进视频编辑、游戏和其他解决方案，但通过 NVMe-oF 在企业中看到了真正的好处。IT、人工智能和机器学习等行业不断发展，对增强性能的需求不断增长。现在经常看到软件和网络供应商，如 VMware 和 Mellanox 向企业市场提供更多 NVMe-oF 相关产品和解决方案。借助现代的大规模并行计算机集群，我们处理和访问数据的速度越快，它对我们的业务就越有价值。

**资源**

[存储中心：VMware NVMeoF vSphere](https://storagehub.vmware.com/t/vsphere-7-core-storage/nvmeof/)

[NVMexpress：NVMe Over Fabrics](https://nvmexpress.org/wp-content/uploads/NVMe_Over_Fabrics.pdf)

[NetApp AFF A800 NVMeOF 评测](https://www.storagereview.com/review/netapp-aff-a800-nvmeof-review#:~:text=The NetApp AFF A800 is,effective capacity of 316.8PB)

> <span style="font-style: italic;">声明：本文禁止转载！素材来源于网络，仅供学习使用，如有侵权请联系网站删除(ngdcn_admin@163.com)。</span>