当前位置：首页 > 行业动态 > 正文

【亚马逊】AWS re:Invent 的新功能：Peter DeSantis 的周一夜现场

行业动态
2022-12-13
9069
更新：2023-01-04 21:51:03

今年在 re:Invent 上，周一夜现场直播环节三年来首次回归。该主题演讲致力于提供对 AWS 底层组件的可见性以及 AWS 团队如何不断创新以增强其服务。主题演讲的最大主题是如何在不牺牲安全性或增加成本的情况下提高性能。

今年的会议由 AWS 实用计算高级副总裁 Peter DeSantis 主持。在这篇文章中，我将详细介绍每一项新公告以及它们可以为客户提供的服务。

## Nitro v5

第一个新公告的重点是新一代 Nitro 管理程序。多年来，Nitro 不断发展，为客户提供了带宽和数据包速率的显着改进。今年，DeSantis 推出了第五代 Nitro。

该芯片在性能上实现了又一次巨大飞跃，晶体管数量增加了一倍，计算能力增加了一倍，内存性能提高了 50%。通过将晶体管和计算能力加倍，该芯片支持比前几代高 60% 的每秒数据包 (PPS)、低 30% 的延迟和高 40% 的每瓦性能。

新的 Nitro 芯片通常会带来新的实例类型——今年也不例外。

## C7gn 实例类型

C7gn 实例类型是一种由 Nitro v5 和 Graviton 提供支持的新实例类型，专为网络密集型工作负载而创建。据说这个新实例提供 200 Gbps 的网络带宽，每秒数据包数提高 2 倍，与它的前身 C6gn 实例类型相比，数据包处理性能提高了 50%。

从这种新的网络优化实例类型中获益最多的工作负载是高性能计算 (HPC) 工作负载，例如天气预报、流体动力学等。但是，其他网络密集型工作负载（例如数据分析）也可能会从使用此实例类型中受益。

## Graviton3E 处理器

Annapurna Labs 确实很忙，因为我们又推出了他们的定制硬件。AWS 客户现在可以利用 Graviton 系列中最新一代的处理器。Graviton3E 处理器建立在 Graviton3 处理器的成功基础上，但提高了需要高性能水平的浮点和矢量数学工作负载的性能。

与同类 x86 实例相比，Graviton3E 处理器的每瓦性能最高可提高 60%，比 Graviton2 处理器的性能最高可提高 25%。在向量指令方面，Graviton3E 比 Graviton3 处理器有相当大的性能提升，提升高达 35%。由于这种性能提升，该处理器自然适合 HPC 工作负载。

那么，当我们拥有新的 Nitro 芯片和专用 HPC 处理器时，我们会得到什么？又一个新的实例类型！

## HPC7g 实例类型

这种新的实例类型即将推出，由新的 Nitro v5 芯片和专用的 HPC Graviton3E 处理器提供支持。此实例类型提供最佳的性能价格，同时提高了 HPC 应用程序和分布式计算工作负载的能效。

许多 AWS 客户对这将为基因组学、制造、天气预报、计算流体动力学等领域的工作负载带来的性能增强感到兴奋。

## EBS io2 Volume 改进

今晚 Peter DeSantis 的一个常用短语是“尾部延迟”——也称为高百分比延迟，或客户很少看到的延迟。对于 EBS，由于持久性需要复制，因此在处理写入时通常会出现这种延迟。例如，以前的 io2 卷发现每 100,000 个请求中就有 1 个需要 35 毫秒才能完成。虽然面临这种延迟的请求数量相对较少，但不幸的客户不得不将其计入他们的整体延迟中。

这导致 AWS 希望提高 io2 卷的性能，今晚他们宣布他们正在这样做。这种性能改进部分来自 AWS 的数据报协议，称为可扩展可靠数据报 (SRD) 协议。

该协议支持多路径，可以比 TCP 更快地检测丢失和延迟的数据包，在微秒内重新传输操作，并在 nitro 控制器而不是客户操作系统上运行，因此它不会影响您的应用程序。

通过将 SRD 与 EBS 结合使用，AWS 在 io2 卷上实现了更高的性能，将尾部延迟减少了 90%，并将吞吐量提高了四倍。

明年年初，所有 EBS io2 卷都将与 SRD 一起运行，为您提供更低的延迟和更高的吞吐量，无需额外费用。您所要做的就是简单地创建一个新的 io2 卷。

## 弹性网络适配器 (ENA) Express

另一个基于 SRD 技术的新特性是 Elastic Network Adapter (ENA) Express。这一新发布使您能够将 SRD 的优势带到任何网络接口，从而实现更高的带宽和更低的尾部延迟。使用 ENA Express，您不需要安装任何额外的软件或为您的实例充电，您只需为您的 ENA 打开它即可启用它。

例如，假设您想使用 ENA express 在可用区中的两个实例之间进行通信。这两个实例都需要启用 ENA Express。一旦 ENA Express 发现两个实例都启用了该功能，它就会建立 SRD 连接，使流量能够利用 SRD 的性能优势。

它还适用于 TCP 和 UDP。TCP over ENA express 提供 25 GB/s 的单连接吞吐量。

很快，其他经常依赖 ENA 的服务（例如 ElastiCache）将支持此功能。带有 ElastiCache 的 ENA Express 将提供 44% 的低尾延迟。

## Trn1n 实例类型

现有的 Trn1 实例类型提供高性能深度学习训练，支持 16 个 Trainium 处理器、每个实例 512 GB 内存和 800 Gbps 网络带宽。

今年，我们又一次激动人心地推出了基于 Trn1 构建的实例类型，同时利用了 SRD 和 Elastic Fabric Adapter 的性能改进。这种新实例类型称为 Trn1n，是 Trn1 实例类型的网络优化版本。它提供更好的网络性能，具有 1600 Gbps EFA 网络。

这种性能改进将最有利于需要对大规模 ML 模型进行超快速分布式训练的机器学习工作负载。

## 机器学习改进

机器学习占据了会议的大部分时间，官方功能发布很少，但在幕后进行了大量改进，以提高可扩展性和通信并消除潜在瓶颈。

Peter DeSantis 谈到的两大性能改进是：

1、 使用随机舍入，使从业者能够使用 16 位数据类型提高速度，同时获得 32 位数据类型的参数精度。这一直是过去 re:Invent 会议的主题，因为随机舍入已用于现有实例类型，例如 Trn1 实例类型。
2、 Ring of Rings 算法使计算处理器能够在每次模型迭代后更有效地交换信息，从而使处理器之间的同步速度提高 75%。这在 PyTorch 中可用。

## AWS Lambda SnapStart

最后但同样重要的可能是当晚最激动人心的公告：AWS Lambda SnapStart。

Lambda SnapStart 是对讨厌的 Lambda 冷启动问题的最新改进。这项新功能可将冷启动延迟减少多达 90%，而无需您支付额外费用。那么它是怎样工作的？

它通过更改初始化过程来做到这一点。当您运行您的函数时，该服务会初始化您的函数并缓存您的 Lambda 函数状态的快照。再次调用您的函数后，它将检索缓存快照的所需部分并使用它来运行您的函数。

目前，使用 SnapStart 可能需要对应用程序进行一些更改。例如，您必须考虑的最大因素之一是您在初始化期间生成的任何独特内容，例如随机数。为了保持唯一性，如果要启用 SnapStart，现在必须在初始化后生成此内容。

此功能现已可用，建议用于通用 Lambda 函数和需要低延迟的函数。

> <span style="font-style: italic;">声明：本文素材来源于网络，仅供学习使用，如有侵权请联系网站删除(ngdcn_admin@163.com)。</span>

<font color=red>**欢迎扫码关注微信公众号“网络技术风云汇”，更快速接收更多网络技术咨询。**</font>

亚马逊