当前位置：首页 > 行业动态 > 正文

混合CXL和GEN-Z以实现共享的分解内存/Disaggregated Memory

行业动态
2022-11-14
1488
更新：2022-11-14 23:07:40

如果您不仅对由 CXL 协议提供支持的内存池感到不耐烦，而且对连接到巨大外部内存块的服务器共享内存的艰巨任务感到不耐烦，那么您并不孤单。Memory Fabric创造者 IntelliProp 就在您身边。

这就是为什么 IntelliProp 过去二十年来一直是一家定制芯片设计公司，在过去几年中将 PCI-Express、CXL 和 Gen-Z 技术混搭在一起，以创建其 Omega Memory Fabric，同时也为我们提供了随着各种技术（包括 Hewlett Packard Enterprise 的 Gen-Z 协议和 IBM 的 OpenCAPI 协议）被合并到 CXL 规范中，未来商品化的 CXL 内存共享将会是什么样子的预览。

Hiren Patel 是 IntelliProp 的首席技术官，1999 年作为定制芯片设计师成立时，他是其联合创始人之一，并于 2002 年成为其总裁。在某些方面互联网泡沫破灭对芯片设计来说并不是一个有趣的时期，Patel 曾在英飞凌担任项目负责人，然后在 Broadcom和富士通担任合同工程工作，同时在 IntelliProp 担任 CTO 角色，负责各种项目。Patel 在 2019 年被赋予了担任公司首席执行官的额外职责，当时他还与 Gen-Z、OpenCAPI 和 CXL 协议背后的联盟处于热火朝天的关系中，这些联盟都试图解决分解内存谜题。在过去的三年中，[在 Gen-Z于 2021 年 11 月并入 CXL 之前](https://www.nextplatform.com/2021/11/23/finally-a-coherent-interconnect-strategy-cxl-absorbs-gen-z/)，事实上，Patel 是其财团的主席。

但 Patel 和在 IntelliProp 工作的工程师早在 2017 年就看到了分解内存的机会，当时[Gen-Z小组开始详细讨论交换式内存Fabric](https://www.nextplatform.com/2017/09/05/future-interconnects-gen-z-stitches-memory-fabric/)。Gen-Z 的灵感来自 Hewlett Packard Enterprise 为 The Machine 所做的研发工作，这个概念系统仍然是以内存为中心的系统设计的灵感来源，并促成[了 Gen Z Consortium 于 2016 年 10 月的成立](https://www.nextplatform.com/2016/10/12/raising-standard-storage-memory-fabrics/)。此后不久，IntelliProp 开始设计芯片，以创建源自 Gen-Z 标准的池化和共享外部存储器。

但后来发生了一件有趣的事情。每个拥有内存一致性协议的人都在 2019 年加入了 CXL 联盟——事实上，[他们是在当年 9 月的*Next I/O Platform*](https://www.nextplatform.com/2019/07/12/what-is-the-next-i-o-platform/)活动中加入的——到 2020 年初，[英特尔宣布休战，这可能会演变成Bus Wars II](https://www.nextplatform.com/2020/01/07/intel-declares-a-truce-before-bus-wars-flare-up/)、然后一年前Gen-Z IP并入CXL，今年8月[IBM的OpenCAPI内存技术并入CXL](https://www.nextplatform.com/2022/08/09/cxl-borgs-ibms-opencapi-weaves-memory-fabrics-with-3-0-spec/)。[现在，CXL 3.0 及更高版本](https://www.nextplatform.com/2022/08/09/cxl-borgs-ibms-opencapi-weaves-memory-fabrics-with-3-0-spec/)成为 Gen-Z 和 OpenCAPI（以及 AMD 和 Xilinx 的 CCIX）试图处理相干内存以及[英特尔最初谈论的相当有限的非对称 CXL 方法](https://www.nextplatform.com/2019/09/18/eating-the-interconnect-alphabet-soup-with-intels-cxl/)。

现在，另一家供应商正准备挑战服务器内存带宽墙，并通过在 PCI-Express 总线上扩展服务器内存，并通过从功能相同的内存服务器汇集并最终通过线路共享它来帮助降低内存成本到 NAS 或 SAN。但是这将有助于降低整体内存成本，同时提高内存容量和带宽。这是真的，因为基于瘦/skinny 内存芯片的内存 DIMM 每单位容量比基于胖/fat 内存芯片的内存 DIMM 便宜得多，所以如果您可以将内存通道加倍，您可以在保持容量不变的同时将带宽加倍，并且还降低了扩展容量的价格。

这对 John Spiers 来说很熟悉，我们与 Patel 进行了交谈，他在存储业务方面有着悠久的历史。在创立 IntelliProp 之前，Patel 在互联网繁荣时期是磁盘驱动器制造商迈拓的高级工程师。（迈拓很久以前并入了希捷科技集团。）Spiers 是迈拓的高级工程总监，在此期间他已在该公司工作了 16 年，随后共同创立了虚拟技术先驱 LeftHand Networks [HPE 于 2008 年 10 月以 3.6 亿美元购买的](http://www.theregister.co.uk/2008/10/01/hp_buys_lefthand_networks/)SAN 存储. Spiers 是超融合存储制造商 Pivot3 的联合创始人兼首席执行官，曾为 Fusion-io（他是 NexGen Storage 的创始人兼首席执行官，该公司于 2013 年被 Fusion-io 以 1.19 亿美元收购）和 SanDisk，然后是在今年 7 月加入 IntelliProp 担任首席执行官之前，他是可组合性和分解先驱 Liqid 的首席战略官。

“当 NAS 和 SAN 不存在时，我开始从事存储行业，人们只是将磁盘驱动器卡在他们的服务器中，并且存在利用率不足和利用率过高以及各种性能瓶颈问题。” Spiers 告诉*The Next Platform*。“同样的事情发生在内存上，当你将它分解并在一个池中共享时，你需要管理、安全、高可用性、故障转移、多路径、数据加密以及属于第一层的附加特性和功能存储，是我们真正带来的东西，因为我们了解这个空间。”

当超大规模和云构建者的服务器成本的 50% 是主内存时，它们占服务器市场的 50%，看到公司试图创建内存服务器或内存区域网络或网络附加内存也就不足为奇了——所有这些类似于企业存储中发生的事情——在 CPU 上通过 PCI-Express 5.0 和 Gen-Z 或 OpenCAPI 内存混合使用 CXL 1.1 协议。坦率地说，我们等不及[PCI-Express 6.0](https://www.nextplatform.com/2020/08/06/the-tech-tricks-that-make-pci-express-6-0-and-beyond-possible/)和[CXL 3.0](https://www.nextplatform.com/2022/08/09/cxl-borgs-ibms-opencapi-weaves-memory-fabrics-with-3-0-spec/)都准备好了，这就是 IntelliProp 制造接口和交换芯片的原因，这些芯片将很快将其 Omega Memory Fabric 推向市场，然后相交更快的互连和更好的 CXL协议版本注入了 Gen-Z 和 OpenCAPI 技术。

“如果你看看 Gen-Z，那确实是一种允许外部扩展内存的fabric ，并且具有安全性、高可用性、多路径等所有特性，允许你在服务器*之外*扩展内存，”Spiers 解释道。“而 CXL 真正专注于通过 CXL 连接的端点设备，并且更专注于服务器内部的扩展。我们领先于市场，因为我们已经结合 CXL 实施了 Gen-Z 的东西，而 CXL 规范本身还没有。”

切换到分解的、可组合的内存，而不仅仅是扩展直接连接的内存是一个重要的区别。虽然 CXL 内存扩展对某些人很有用，正如 Patel 正确指出的那样，但这只是意味着系统架构师会倾向于在特定机器内部过度配置内存，因为它们实际上将内存翻了一番——一半在 DDR 控制器上，一半在 PCI 上——快速控制器。

“你不能再继续向大型 ASIC 添加更多 DDR 内存端口，”Patel 说。“它只是占用了太多引脚。您可以使用 CXL 并降低引脚数并在盒子内部进行内存扩展。当然，您为此付出了一些延迟。但是 Gen-Z 的想法是跳出框框，我们的 ASIC 是一种内存扩展设备，但我们也有一个从该芯片出来的fabric 端口，然后我们有媒体盒、交换机和交换机集线器，可以让您开始对主内存进行分层。 ”

Spiers 开玩笑说 IntelliProp 创建了一个 CXL/Gen-Z 主机适配器，相当于运行 CXL 6.0。. . . IntelliProp ASIC 将 CXL 转换为 Gen-Z，然后使用普通 802.3 以太网（铜缆或光纤）作为分解内存的传输，然后转换回 CXL 以连接到三星和 SK 海力士的 CXL 内存。IntelliProp 创建的 Gen-Z 交换机 ASIC 通过交换机有大约 35 纳秒的延迟，诀窍是 Gen-Z 从未加密报文头，只加密数据包中的数据，因此数据包只是流经交换机。根据 Patel 的说法，由于 CXL 交换fabric 在 PCI-Express 交换fabric 上运行，整个数据包（包括其报文头）都被加密，并且每一跳中的每个交换机都必须解密一个完整的数据包以试图找出将它发送到哪里。

最终，CXL 将充分利用 OpenCAPI、Gen-Z 和其他任何东西来解决这些问题。

与此同时，您可以从这里开始：

在主机适配卡上实现了 CXL/Gen-Z 转换器和交换机 ASI，可用作服务器和网络附加内存 (NAM) 设备的端点，如右图所示。

以下是对 NAM 的深入分析：

外部内存服务器的巧妙之处在于，IntelliProp 创建的 CXL-Gen-Z Fabric并不关心 802.3 线另一端的物理内存是 DDR3、DDR4、DDR5 还是 HBM 堆叠 DDR 内存。延迟和带宽将像他们一样发挥作用，但客户可以根据他们的容量和带宽需求，在内存设备上选择非常便宜的内存或非常昂贵的东西。

因为中间是Gen-Z技术，远程内存是热插拔的，很酷，而且内存共享已经启用，这意味着多个服务器可以访问同一个数据集，这就是CXL正式到来的圣杯3.0。

由于中间的 Gen-Z，Omega Fabric在 CXL 3.0 之前“非正式地”拥有 CXL 1.1 端点，这意味着，例如，您可以拥有一个带有单个数据集的内存设备，以进行 AI 推理与使用 InfiniBand 或带有 RoCE 的以太网相比，它的延迟更低（Patel 说，它的延迟降低了 10 倍）。Patel 表示，运行 AI 深度学习关系模型，Omega Fabric可以扩展到数十到数百个主机节点，每个主机节点都有多个由该Fabric链接的 GPU 内存。

您可以在上面看到为什么使用这种内存拓扑和多个层，您需要一个Fabric管理器：

从概念上讲，跨 CPU 和 GPU 以及 NVM-Express 闪存存储的完整机架的可组合内存可能看起来像：

这个可组合的齿轮架中有 160 个 IntelliProp 芯片，这正是 Patel 和 Spiers 所兴奋的。

IntelliProp ASIC 从去年这个时候开始在 FPGA 版本中进行测试，经过一些资金筹集后，预计真正的芯片将于 2023 年开始提供样品，并于 2024 年初投入生产。这在 IT 行业似乎是永恒的，但不是。

IntelliProp ASIC 是具有四个端口的多用途设备，每个端口运行四个通道，以 25 Gb/秒的速度运行，每个 ASIC 的总速度为 400 Gb/秒。如果您以非阻塞方式交叉连接它们，您可以制作一个 12 端口或 16 端口 Gen-Z 交换机，虽然这可能不足以成为一个完整的架顶式交换机，但在第一次迭代中Omega Fabric，重要的是只设计一个设备。未来，有理由认为将会有更强大的 Omega Fabric交换机以及多端口 Omega 适配器作为不同的 ASIC。

也有理由认为，这个交换机 ASIC 将由适配器的构建块组成，所有这些都在一个插槽内，并消除了芯片上的一些跃点。Patel 说，这些芯片采用 12 纳米工艺实现，这对于 25 Gb/秒的信号传输来说是很好的，但要转向 56 Gb/秒的信号传输，则需要将 SerDes 降低到 7 纳米工艺。FPGA 实现运行在 400 MHz，目标是在 1.6 GHz 左右运行真正的 ASIC，未来的 ASIC 小芯片版本可能有 64 个端口，运行在 2.4 GHz 甚至 3.2 GHz，具有更高的基数和更多较低的延迟。

我们期待在生产中看到这一点，以及它如何改变数据中心内存的经济性。我们期望有很多不同的方法来进一步提升数据中心内存的性能。

> 作者：Timothy Prickett Morgan
> 链接：https://www.nextplatform.com/2022/10/31/mashing-up-cxl-and-gen-z-for-shared-disaggregated-memory/

> <span style="font-style: italic;">声明：本文素材来源于网络，仅供学习使用，如有侵权请联系网站删除(ngdcn_admin@163.com)。</span>