当前位置：首页 > SIGCOMM > 正文

【Sigcomm 2020】Aeolus：华为携手小伙伴推出的重磅级数据中心拥塞控制解决方案

SIGCOMM
2022-10-18
1594
更新：2023-01-04 21:37:42

Aeolus: A Building Block for Proactive Transport in Datacenters/Aeolus：数据中心主动传输的构建块。

## 摘要

随着数据中心网络带宽的不断增长，主动传输变得越来越有吸引力，它将带宽作为“信用”主动分配给发送端，发送端可以以正确的速率发送“调度数据包”(调度报，scheduled packets)，以确保高链路利用率、低延迟和零数据包丢包。虽然前景很好，但一个挑战是主动传输至少需要一个RTT才能计算和交付这些信用。虽然这一个RTT“预信用”(pre-credit)阶段可以在高链路速度下承载大量的数据流，但是现有的主动式解决方案都没有很好地处理第一个RTT问题。我们介绍了Aeolus，一个专注于“预信用”数据包传输的解决方案，作为主动传输的构建块(building block)。Aeolus包含非传统的设计原则，如调度数据包优先（SPF, scheduled packet first），它取消了第一个RTT包的优先级，而不是优先处理这些数据包。它进一步利用主动传输的保留的、确定性的特性作为有效恢复第一个RTT丢包的手段。我们已将Aeolus集成到ExpressPass、NDP和Homa中，并通过实验和仿真表明，增强版的Aeolus解决方案具有显著的性能或可部署性优势。例如，它将ExpressPass的平均FCT提高了56%，将Homa的尾部FCT降低了20%, 同时在没有交换机修改的情况下实现与NDP类似的性能。

## 1引言

随着数据中心网络链路速度从1/10G快速增长到100G，更多的流量变得相对来说“更小”了，并且可以在几个RTT（往返时间）内完成（理论上）。对生产级工作负载的测量表明，理想情况下，60-90%的流可以在一个RTT中完成。因此，在每个RTT上保持低延迟和高吞吐量对于数据传输来说是至关重要的。

传统的“尝试和退避”（try and backoff）传输（例如，DCTCP，DCQCN，Timely）不适合这些要求，因为它们只对拥塞信号（例如，ECN或延迟）出现的“事后”（after the fact）作出反应，并需要多轮来收敛到正确的速率。虽然它们可以在长流量（long flow，大流）下保持良好的平均性能，但很难在每一轮中达到正确的速率，这恰恰对于小流和尾部性能至关重要（影响巨大）。因此，最近的一些工作（例如ExpressPass、NDP、Homa、FastPass、pHost）探索了一种很有前途的替代方案，称为主动传输，其中链路容量由接收端或集中控制器主动分配来作为每个活动发送端的信用，这样发送端就可以以最佳速率发送调度数据包（scheduled packets），以确保高带宽利用率、低排队延迟和零数据包丢包。

Figure 1: A substantial gap between existing proactive transport baselines and the ideal performance. Aeolus provides a common building block of proactive transport to systematically bridge the performance gap caused by the pre-credit phase.

尽管前景看好，但经过仔细分析，我们发现所有现有的主动式解决方案都没有达到上述最佳性能。**罪魁祸首是因为它们需要至少一个RTT来将信用分配给一个新的流，第一个RTT（“预信用阶段”）带来了一个基本的困境，影响了这些解决方案的性能（图1）**。如果发送方在等待信用时没有发送数据包（例如ExpressPass），即使网络未充分利用，新的流也将被暂停一个RTT（图1（a））。如果它以高速率突发数据包（例如，Homa），称为非调度数据包（unscheduled packets），它可能会导致零星的流量峰值、瞬时的排队延迟，并最终导致调度数据包的数据包丢包（图1（b））。虽然有一种潜在的解决方案依赖于交换机的特殊硬件支持来减轻数据包丢包的后果（例如NDP），但主动传输的潜力能否以易于部署的方式实现仍然是一个悬而未决的问题。

为了解决这一问题，我们观察到，现有的主动式传输可以受益于理想化的预信用解决方案，该方案满足两个看似矛盾的原则：

如图1所示，这种理想化的预信用解决方案大大提高了ExpressPass的平均FCT和Homa的尾FCT，尽管原因不同。

理想化的预信用解决方案背后的核心是，主动传输非常容易受到调度数据包的任何延迟或丢包的影响。调度数据包的轻微延迟会导致下游交换机出现瞬时流量尖峰，这会破坏微妙的带宽分配，并以级联方式影响更多流，最终形成一场完美风暴. 此外，这些不确定性削弱了主动式传输独特的性能可预测性。在我们的实验中，我们发现丢包一个调度数据包可以将流完成时间增加100秒（由于重新传输超时）。这些问题可能会由于许多短流的突发而进一步恶化，这些短流主要由非调度的数据包组成。

总而言之，主动传输的确定性意味着任何丢包或调度的数据包的延迟都可能造成不成比例的损害。作为一种解决方案，理想化的预信用方案通过保护调度数据包和取消调度数据包的优先级，而不是相反，可以有效地避免当前主动式解决方案中的陷阱。

这项工作的主要贡献是使上述理想化的预信用解决方案切实可行。**提出的Aeolus是一个易于部署的主动传输构建块，它满足上述两个原则：调度数据包优先，同时让非调度数据包充分利用空闲带宽**。

Aeolus提出了一种新型的选择性丢包机制来实现其设计目标： 当存在调度数据包剩余的空闲带宽时，允许预信用新流以线路速率突发，但一旦带宽用完，立即有选择地丢弃它们（预信用新流的数据包，也就是非调度数据包）。通过这种方式，Aeolus在保护调度数据包的同时，让非调度数据包有效地利用了可用带宽，从而同时实现了上述两个原则。特别地，我们通过使用主动队列管理（AQM）特性，证明了我们的选择性丢包在商业交换机上只需要一个队列就可以实现.

此外，值得注意的是，由于我们已经保护了调度数据包，作为回报，我们的非调度数据包的丢包恢复可以设计得更加简单而有效。其思想是重用保留的主动传输作为一种可靠的方法来恢复发生丢包的预信用数据包。任何丢弃的非调度数据包都将在下一轮中成为调度数据包，其传递是有保证的。因此，我们只需要在第一个RTT中定位（检测）数据包丢包，然后使用调度数据包重新传输它们.

Aeolus在架构上与所有现有的主动式解决方案兼容。我们使用DPDK和商业交换硬件实现了一个Aeolus原型，并将其与最新的主动式解决方案（如ExpressPass、Homa和NDP）集成。我们进一步构建了一个小型试验台，其中包括一个Mellanox SN2000交换机和8台10Gbps服务器，以及100Gbps的大规模仿真（trace-driven simulation），以评估Aeolus的性能。我们发现：

<span style="font-family: Wingdings;color: #222222;letter-spacing: 1px;font-size: 16px;background: #FFFFFF">l <span style="color: #222222; letter-spacing: 1px; font-size: 16px; background: #FFFFFF; font-family: 微软雅黑;">Aeolus+ExpressPass在10G试验台实验中平均降低了33%的FCT，同时在大规模100G仿真中实现了56%的提升。这是因为Aeolus在ExpressPass中没有使用的第一个RTT中预信用非调度数据包充分利用了空闲带宽。
</span>

<span style="font-family: Wingdings;color: #222222;letter-spacing: 1px;font-size: 16px;background: #FFFFFF">l <span style="color: #222222; letter-spacing: 1px; font-size: 16px; background: #FFFFFF; font-family: 微软雅黑;">Aeolus+Homa将小流的尾部FCT减少了20x, 在10G的实验台上进行了从100毫秒到几毫秒的实验，同时达到了1400x的改进。这是因为Aeolus通过执行调度包优先原则，有效地消除了由非调度包突发引起的调度包丢包。
</span>

<span style="font-family: Wingdings;color: #222222;letter-spacing: 1px;font-size: 16px;background: #FFFFFF">l <span style="color: #222222; letter-spacing: 1px; font-size: 16px; background: #FFFFFF; font-family: 微软雅黑;">Aeolus+NDP实现了与NDP类似的性能，但不需要修改交换机。这是因为与NDP采用的删除有效负载（cutting payload）技术类似，Aeolus可以通过选择性地在交换机上丢弃过多的非调度数据包来消除大量的队列积累，同时通过重用主动传输保留的确定性特性来确保快速的丢包恢复。
</span>

## 2 背景和动机

### 2.1数据中心中的主动传输

传统的数据中心拥塞控制使用“尝试和退避”（try and backoff）方法，因此在很大程度上是对拥塞的反应。为了满足日益增长的性能要求，最近的许多工作都基于主动传输，它以“请求和分配”的方式运行。主动传输背后的关键思想是在活动流之间显式分配瓶颈链路的带宽，并主动防止拥塞。因此，交换机将具有超低的缓冲区占用率和（接近）零数据包丢失。主动传输优越性能的核心是对活动流的完美信用分配，因此任何新发送方都需要一个RTT（我们称之为预信用阶段）来通知接收方/控制器来分配信用。

主动式传输的概念已经有了一些实现。Fastpass采用了一个集中式仲裁器来严格控制数据包传输时间和路径。PDQ和TFC利用交换机在经过的流之间显式地分配链路带宽。ExpressPass、pHost、NDP和Homa使用接收端驱动的基于信用的方法来明确地调度目的地为不同接收端的数据包的到达。

### 2.2预信用前阶段（第一个RTT）很重要

DCN链路速度的快速增长（从1/10G到100G）从根本上改变了数据流的特性，特别是在第一个RTT中可以完成的数据流数量激增。图2显示了在不同的链路速度下，流（和字节）在第一个RTT（预信用阶段）内可能完成的比例。流是根据四种实际工作负载生成的，包括Web服务器、缓存跟随器、Web搜索和数据挖掘。

对于图2（a），我们通过简单地将流大小除以给定的链路速度来计算流的FCT。对于图2（b），我们计算给定工作负载（表示为A）的预期平均流大小，以及给定链路速度在一个RTT中可以传输的字节数（表示为B）。我们简单地使用B/A，因为字节的分数可以在第一个RTT内完成。虽然这种方法是非常理想化的，但它表明了一个明显的趋势，即高速DCN的兴起极大地改变了流完成时间的分布，从理论上讲，许多流能够在第一个RTT中完成。

根据现有的主动式传输设计，在第一个RTT中可以完成更多的流量这一事实有几个重要的应用：

<span style="font-family: Wingdings;color: #222222;letter-spacing: 1px;font-size: 16px;background: #FFFFFF">l <span style="color: #222222; letter-spacing: 1px; font-size: 16px; background: #FFFFFF; font-family: 微软雅黑;">更多的数据包将是第一个RTT数据包。这意味着非调度数据包（在预信用阶段发送）和调度数据包（在所有后续RTT中与信用一起发送）之间更频繁的竞争，这可能会破坏非调度数据包的收益。
</span>

简而言之，这个简短的分析表明，现有的主动传输设计需要一个有效的预信用解决方案，以充分利用第一个RTT中的空闲带宽，因为链路速度显著提高。

### 2.3 现有解决方案的性能问题

通过对具有代表性的主动传输解决方案的实证分析，我们展示了它们如何处理第一个RTT（即预信用阶段）的关键权衡。

**为什么不浪费预信用阶段？**一方面，如果发送端在预信用阶段不发送数据包，它对短消息造成沉重打击，因为短消息本身可以在第一个RTT中完成。为了具体说明它对性能的影响，我们选择了ExpressPass，这是最近的主动传输方案，它只在预信用阶段之后发送调度数据包（虽然它使用探测数据包，但它们不携带实际数据）。我们运行了一个ns-2仿真，采用了一个胖树拓扑结构，由8个Spine交换机、16个leaf交换机、32个ToR交换机和192个通过100Gbps链路连接的服务器组成。流是根据两个实际的工作负载生成的，包括Cache Follower和Web服务器两种流量。

此外，为了显示在第一个RTT中不停止的潜在性能优势，我们考虑了一个假设的ExpressPass（hypothetical），它利用理想化的预信用解决方案发送刚好足够的数据，以充分利用第一个RTT中的备用带宽（即事后了解），并在第一个RTT之后跟随ExpressPass的思路进行发送。

图3显示了原始ExpressPass和假设的ExpressPass下的小流（0-100KB）的FCT。在这两个工作负载中，我们可以看到57~80%的小流量需要在ExpressPass中额外完成一个RTT，即几乎3个RTT通胀情况（从0.5到1.5RTT）！

图4将原始Homa和假设Homa的FCT分布（理想化的第一个RTT）进行了比较。我们可以看到，尽管大多数流完成得非常快（<30us），但尾部FCT可能非常糟糕，在两个工作负载中，99.9%的时间超过50毫秒。我们发现，尾时延是由于缓冲区的建立和随后的数据包丢包造成的发送方在第一个RTT突发太多的非调度数据包导致。更糟糕的是，由于调度的数据包不再是无损的，重传的数据包也可能丢包。相比之下，假设的Homa的尾部FCT显著提高了，99.9分位小于50us，接近1000x的减少程度。

读者可能会想，Homa是否可以通过采取更积极的丢包恢复措施来显著降低其尾部FCT？为了研究这一点，我们考虑一个使用20us重传超时（基本RTT为4.5us）的Homa激进版本（eager Homa）。表1总结了Cache Follower工作负载下的仿真结果。

正如我们所看到的，虽然对于小流量，eager Homa确实实现了更好的尾部FCT（仅比假设的Homa差3倍），但成本非常昂贵-我们观察到传输效率要低得多（降低约65%），所有流量的平均FCT要高得多（增加约300%）。这主要是因为积极的丢包恢复将很容易触发预成功（pre-mature，预成功）数据包重传。然后许多数据包被多次重复传输，浪费了本来可以有效利用的稀缺带宽。因此，传输效率下降到正常的一小部分，这大大延长了大多数流量的完成时间。请注意，为了更好地演示原始Homa实现的大多数流的总体性能，我们在计算平均FCT时排除了其尾流（如果包含尾流，则平均FCT将为641.74us，这是三个方案中最大的）。

综上所述，由于调度数据包信用分配的脆弱性被打破，Homa在处理延迟/丢失的调度数据包时面临着两难的境地。

### 2.4总结：保护调度数据包？

上面的微基准表明，主动传输的两种方法都不理想，在正常情况下，浪费第一个RTT的机会会导致比必要的FCT更长的时间（图3），而突发的非调度数据包会导致过长的尾部FCT（图4）或更高的平均FCT（表1）。同时，这两种解决方案都可以从第一个RTT（即预信用阶段）的理想解决方案中获益匪浅。特别地，这样一个理想化的第一RTT解决方案应该实现两个看似矛盾的目标：（1）充分利用空闲带宽和非调度的数据包，（2）不干扰调度的数据包。

在深入研究我们的设计之前，我们先暂停一下，并将这两个目标放在现有解决方案（Homa、pHost、NDP）的视角中，因为这些解决方案在预信用阶段发送非调度数据包。虽然他们的目标都是让非调度数据包充分利用第一个RTT中的带宽，他们与我们的根本不同之处在于如何让非调度数据包与调度数据包共享带宽。Homa和pHost将非调度的数据包优先于调度的数据包进行传输，而NDP不进行区分并让它们公平地共享带宽。因此，它们都可能延迟（或削减有效负载）调度数据包，可能导致图4所示的尾部延迟或表1所示低下的传输效率。

为了看一个具体的例子，让我们考虑图5。当一个非调度数据流到达时，而此刻每个链路都被完全用来传输调度数据包。因为受调度的流具有相等或更低的优先级，所以流1将被延迟，这将延迟下一链路上的流2，然后延迟流3，依此类推。注意，这种调度流的级联延迟甚至可以传播到不存在非调度数据包的交换机。更糟糕的是，这种延迟会增加主动传输中数据包丢包的机会，因为队列不再能够吸收偶尔的突发。

简言之，延迟/丢弃调度数据包的代价表明，人们应该重新考虑优先处理非调度数据包的原则，即使它们来自短流。

## 3 AEOLUS

Aeolus的目标是同时实现三个设计目标：（1）新的流充分利用空闲带宽，尽量完成，避免超过必要的FCT；（2）保护调度数据包以保持主动传输的确定性；（3）为了便于在生产级数据中心中部署，Aeolus必须可以通过商业交换机实现。

图6是Aeolus的概述，主要包括3个部分：速率控制、选择性丢包和丢包恢复。

<span style="font-family: Wingdings;color: #222222;letter-spacing: 1px;font-size: 16px;background: #FFFFFF">l <span style="color: #222222; letter-spacing: 1px; font-size: 16px; background: #FFFFFF; font-family: 微软雅黑;">**速率控制**：Aeolus在终端主机上采用最小速率控制：所有流在预信用阶段以线路速率（line-rate）开始，然后根据收到的信用（credits）调整其发送速率。
</span>

<span style="font-family: Wingdings;color: #222222;letter-spacing: 1px;font-size: 16px;background: #FFFFFF">l <span style="color: #222222; letter-spacing: 1px; font-size: 16px; background: #FFFFFF; font-family: 微软雅黑;">**选择性丢包**：Aeolus保护调度包的关键是在网络中执行调度包优先（SPF）原则。为此，Aeolus在交换机上引入了一种新的选择性丢包机制，在带宽刚刚用完的情况下选择性丢弃非调度数据包，而不影响调度数据包。有了这样一个方案，Aeolus可以有效地使用非调度数据包来使用剩余带宽，而不会削弱主动传输的理想特性。此外，这种选择性丢包机制很容易使用商业交换机部署.
</span>

<span style="font-family: Wingdings;color: #222222;letter-spacing: 1px;font-size: 16px;background: #FFFFFF">l <span style="color: #222222; letter-spacing: 1px; font-size: 16px; background: #FFFFFF; font-family: 微软雅黑;">**丢包恢复**：鉴于Aeolus已保护调度数据包，仅对丢包的非调度数据包进行丢包恢复。对于恢复，我们利用处于良好保护的主动传输过程来作为一种安全有效的丢包重传手段。也就是说，我们提出了一种丢包检测机制，能够在预信用阶段准确定位非调度数据包丢包，并将其作为信用引导的调度数据包重传一次（重传的数据包，按照调度数据包处理，从而不会再次被丢弃）。
</span>

### 3.1速率控制

理想情况下，流在预信用阶段的发送速率应该由调度数据包留下的空闲带宽决定，该带宽在时间和空间上保持变化。由于几乎不可能计算这样的动态空闲带宽，因此我们将其留给交换机来实现调度数据包和非调度数据包之间所需的带宽分配（即SPF））。因此，对终端主机的速率控制的需求变得最小。特别是，我们不需要复杂的速率控制来防止由于流量突发而导致的队列累积或数据包丢包。这是因为队列堆积可以通过选择性丢包来消除，而在预信用阶段的任何数据包丢包也可以通过调度数据包在即将到来的基于信用的阶段中很快恢复.

基于上述思想，我们设计的速率控制机制的工作原理如下：

<span style="font-family: Wingdings;color: #222222;letter-spacing: 1px;font-size: 16px;background: #FFFFFF">l <span style="color: #222222; letter-spacing: 1px; font-size: 16px; background: #FFFFFF; font-family: 微软雅黑;">**预信用阶段线路速率突发**：流发送端在启动时进入预信用状态，并以线路速率（line-rate）发送相当于带宽延迟积（BDP）数量的非调度数据包。我们使用这样一个积极的发送速率来充分利用网络中出现的任何空闲带宽。
</span>

<span style="font-family: Wingdings;color: #222222;letter-spacing: 1px;font-size: 16px;background: #FFFFFF">l <span style="color: #222222; letter-spacing: 1px; font-size: 16px; background: #FFFFFF; font-family: 微软雅黑;">**基于信用的速率控制**：除了非调度数据包突发，发送方还向接收方或集中式仲裁器发送请求，以寻求credit。一旦credit返回，它将立即退出预信用状态，即使它还没有发出所有非调度数据包。之后，发送方进入信用引导（credit-induced）状态，并根据分配的credit发送调度数据包。我们设计的Aeolus与所有现有的基于credit的速率控制算法兼容。
</span>

### 3.2选择性丢包

由于Aeolus对终端主机上的非调度数据包几乎没有速率控制，因此它应该保护网络中的调度数据包。为了确保非调度的数据包只利用调度数据包剩余的空闲带宽，Aeolus通过在交换机上通过将调度数据包优先级设置为高于非调度数据包的方法来实施SPF。实现这一点的传统方法是通过优先级队列。然而，在我们的Aeolus设计中，我们发现了一些直接使用优先级队列的问题。相反，我们以一种非传统的方式重新解释商业交换机的RED/ECN特性，实现了一种新的选择性丢包方案。

**为什么不是优先级队列？**我们选择不使用优先级排队有三个原因。首先，它产生了模糊性：当接收端等待一个非调度数据包很长时间后，很难判断这个数据包是被丢了还是仍被困在网络中。这是因为，在优先级队列中，高优先级的后续调度包可能比低优先级的非调度包更早到达。这种模糊性引入了Homa面临的类似困境（如上文“现有解决方案的性能问题”中所讨论的). 如果我们使用保守的丢包恢复方法（例如， Large RTO），我们可能会延长丢包数据包的尾部延迟。如果我们使用更激进的方法（例如，Small RTO），我们可能会招致不必要的去重传仍在网络中飞行的数据包，从而降低传输效率。其次，低优先级的非调度数据包仍然可能占用相当大的缓冲区，这可能会影响调度数据包，这是因为主动式解决方案需要一定的缓冲空间来适应不完美的网络条件，例如RTT变化引起的瞬时队列积累。第三，商业交换机具有较少数量的队列（通常为8个），这些队列可用于其他目的，例如隔离不同服务的流量。我们不希望通过呈现Aeolus来消耗额外的队列资源。

**选择性丢包**：我们寻求实现SPF，同时避免优先级排队的缺点。为了避免歧义和节省队列资源，我们更喜欢只使用一个队列并保持有序地传输数据包的机制。此外，为了保留足够的缓冲区空间来容纳调度数据包，我们应该限制非调度数据包使用的缓冲区空间。

根据这一观点，我们在FIFO队列中传输所有数据包（除非传输有特殊要求），并在交换机上实施选择性丢包机制：当一个非调度数据包到达时，如果缓冲区占用超过一个很小的阈值（如2-8KB），交换机就会丢弃它，但是这种丢包不适用于调度数据包。通过这种方式，Aeolus可以同时获得多个好处——它避免了顺序传输中仅使用一个队列的模糊性，通过在队列建立后主动丢弃非调度数据包来确定调度数据包的优先级，同时仍然允许非调度数据包以最小的缓冲区占用率充分利用任何剩余的带宽。本文的一个贡献是，我们证明了这种选择性丢包是有效的，使用商业交换机的主动队列管理（AQM）特性非常容易实现。在后面的描述中，我们分别介绍了使用加权随机早期检测（WRED）和RED/ECN的两种实现方案。在我们的实验台上，我们采用RED/ECN来实现所提出的选择性丢包机制。

### 3.3丢包恢复

在Aeolus中，由于我们能很好地保护调度数据包，因此它们不太可能被丢弃。然而，非调度数据包可以在选择性丢包下丢包。因此，需要对非调度数据包进行快速丢包恢复。由于我们已经保护了调度数据包，我们的想法是使用后续的调度数据包重新传输这些被丢弃的非调度数据包，这些数据包的传输是由主动传输的特性来保证的。因此，在Aeolus中，丢包恢复简化为只需要进行简单的丢包检测。

**丢包检测**：Aeolus允许接收端的每包ACK快速通知发送方到达的非调度数据包。我们在中间使用选择性ACK而不是累积ACK来进行丢包检测，并且利用简单的探测来检测非调度数据包的尾丢包。具体地说，Aeolus发送端在最后一个非调度的数据包之后发送探测数据包。该探测包携带最后一个非调度的包的序列号，并且具有最小的以太网包大小，例如64字节。当接收端接收到探测包时，它返回一个带有探测包序列号的ACK。一旦发送方收到这样一个探测ACK，它就可以立即推断出所有非调度数据包的丢包，包括最后一个。最后，值得注意的是，为了保证探测包和所有ACK的传递，我们在网络中按调度数据包处理它们。

**重传**：如上所述，Aeolus使用后续的调度包重传被丢弃的非调度包。一旦收到credit，发送方可以重新传输旧的数据包或传输新的数据包。具体来说，发送方有三种类型的数据包要传输：已发送但未确认的非调度数据包、丢包检测到的非调度数据包和未发送的调度数据包。我们分别按照丢包检测到的非调度数据包、未发送的调度数据包和已发送但未确认的非调度数据包的顺序对它们进行优先级排序。我们将丢包检测到的非调度数据包作为最高优先级，因为我们希望尽快填补这一空白，以最小化重排序缓冲区的内存占用。我们将未发送的调度包优先于已发送但未确认的非调度包，以避免冗余的重传。

### 3.4为什么这样做可行

Aeolus的关键在于其简单而有效的选择性丢包机制，它不仅提供了良好的性能，而且大大简化了速率控制和丢包恢复设计。通过选择性丢包，新的流可以以线速率开始，以充分利用空闲带宽而不影响调度数据包。对于预信用的非调度数据包，线路速率启动和选择性丢包的合作可以最大限度地提高它们的潜在收益（例如，利用空闲带宽），同时最小化它们的副作用（例如，影响调度数据包）。此外，通过选择性丢包，Aeolus只丢非调度数据包。因此，丢包恢复变得相对简单，因为数据包丢包只发生在预信用阶段（或第一批），并且保证了后续调度数据包的交付。我们只需要在第一批中定位丢包，然后使用调度的数据包有效地只重传一次。我们不需要复杂的方案来处理许多具有挑战性的极端情况（corner cases），例如，重传分组的分组丢包。与TCP对于不同的场景它有许多复杂的丢包恢复机制对比，Aeolus的丢包恢复非常简单，但效率更高。

## 4 Aeolus方案的实施

### 4.1交换机实现

Aeolus交换机选择性地丢弃非调度数据包，同时在一个交换机队列中保留调度的数据包。这里我们提出两个实现方案来实现这一点。

**WRED**：加权随机早期检测（WRED）是对随机早期检测（RED）的扩展，其中单个队列具有多个不同的队列丢包/标记阈值集。WRED通常支持三种包颜色：红色、黄色和绿色，每种颜色在交换队列中都有自己的丢包阈值。WRED得到了商业交换芯片的广泛支持。

为了使用WRED实现选择性丢包，我们在终端主机上用不同的DSCP值标记调度包和非调度包。在交换机上，我们配置访问控制列表（ACL），根据DSCP字段设置到达包的颜色。因此，在交换管道（switch pipeline）中，可以用不同的颜色来标记调度数据包和非调度数据包。对于非调度数据包，我们可以将高丢包阈值和低丢包阈值都设置为所需的选择性丢包阈值。对于调度包，我们可以将其高/低丢包阈值设置为非常大的值（例如，总缓冲区大小），以便WRED不会丢调度数据包。

**RED/ECN**：虽然WRED被交换芯片广泛支持，但它可能不会被所有的交换操作系统暴露给用户。一些交换机操作系统（例如Arista EOS）只提供一个简单的RED/ECN配置接口，其中交换机队列只有一组丢包/标记阈值。

现在，我们将展示如何仅使用向用户公开的RED/ECN特性来实现选择性丢包。ECN机制使用IP报头中的2位ECN字段来编码一个包是否具有ECN能力或是否经历了拥塞。当两个端点都支持ECN时，它们将用10（支持ECN的传输，ECT（0））或01（ECT（1））标记它们的数据包。否则，数据包将标记为00（非ECT）。在交换机上，当缓冲区占用率大于ECN标记阈值时，如果它使能ECN能力则到达的数据包将被标记（将代码点改为11），否则将被丢包。

因此，我们可以通过如下方式重新解释RED/ECN来实现选择性丢包。在发送方，我们将非调度包和调度包的ECN字段分别设置为Non-ECT和ECT（0）。在交换机上，我们启用ECN标记，并将高和低红色阈值配置为选择性丢包阈值。通过这种方式，交换机将有选择地丢包超过该阈值的任何非调度的数据包。在接收端，我们只需忽略到达数据包的ECN标记。

### 4.2主机实现

为了评估Aeolus增强主动式解决方案的优势，我们使用两种最新的主动式传输工具ExpressPass和Homa实现了Aeolus的原型。我们的实现基于DPDK 18.05，它允许网络堆栈绕过内核，直接与NIC通信。

如图7所示，在现有主动传输的基础上对Aeolus进行的主要修改是添加了Aeolus控制逻辑、流分类模块、数据包标记模块和数据包调度模块。由于我们的实现没有触及主动式传输的核心代码，不同的主动式协议可以很容易地“替换”，同时仍然保持与Aeolus的兼容性。

**包发送管道**：如图7（a）所示，应用程序通过调用send()函数开始数据传输。流分类模块使用表跟踪每个流的状态。每个流使用5元组（即，源/目标IP、源/目标端口和协议ID）进行标识，并最初分类为预信用流。一旦流完成其第一个RTT包传输，它就进入信用引导（credit-induced）状态。预信用流和信用引导（credit-induced）流分别由Aeolus控制逻辑和主动控制逻辑处理。

Aeolus控制逻辑以循环方式迭代地检查其所属流的发送方缓冲区，读入数据，将数据分割成非调度的数据包，构造请求、探测和ACK，并将这些数据包转发给下一级处理模块。至于主动控制逻辑，它遵循其原始的处理逻辑，没有任何修改。

我们注意到，在一些主动式解决方案（如Homa）的设计中，接收端需要从成功接收的非调度数据包的报头中了解流大小信息。我们将流量大小信息编码到探测头中，使得接收端即使在所有非调度的数据包都被丢包的情况下，仍然可以了解流量需求。

包标记模块标记出站包。它将非调度数据包和调度数据包的ECN字段分别设置为00（非ECT）和10（ECT（0））。为了提高吞吐量，标记的数据包通过DPDK分批发送到NIC的TX环缓冲区。在当前的实现中，我们选择了15个数据包的批量大小。

**数据包接收管道**：利用DPDK轮询模型驱动程序定期轮询网卡的RX环缓冲区。一旦接收到一批数据包，数据包分发模块将其分发给相应的控制逻辑。

Aeolus控制逻辑主要在收到数据包时执行三个操作：（1）在第一个收到流的ACK时通知流分类模块改变流的状态; (2）当接收到请求时，通知主动控制逻辑新流的到达; (3）根据接收到的ACK进行丢包检测，并通知主动控制逻辑对调度数据包进行丢包重传。

## 讨论

设计权衡。Aeolus通过保护主动式方案的确定性来保证良好的尾部延迟，但仅以尽力而为的方式改进平均延迟。在某些情况下，它也可能做出一些妥协。例如，由于较小的选择性丢包阈值，即使交换机有足够的缓冲空间容纳所有飞行中的业务，Aeolus也可能丢弃非调度数据包. 因此，由于第一个RTT中的带宽损耗，Aeolus可能会延迟一些小流量的完成。然而，即使在严重拥堵的情况下，Aeolus也能始终如一地消除拥堵超时。

在严重incast时的弹性。Aeolus使用最小大小的探测包来提高在严重的incast工作负载下的恢复能力。例如，使用200KB交换缓冲区、6KB丢包阈值和64B探测包大小的典型设置，Aeolus可以有效地检测非调度数据包的丢包，即使有3100（194KB/64B）条新到达流。为了处理即使是探测包也可能被丢包的极端情况，我们可以让发送方设置一个计时器，在给定的持续时间内没有收到信用的情况下，重新传输非调度数据包和探测包。

硬件卸载的逐包ACK的开销。逐包ACK可能是高速硬件传输的负担。然而，Aeolus通过仅为更可能被丢包的非调度数据包生成每包ACK来最小化这种开销。例如，对于100Gbps链路、10us基本RTT和1.5KB MTU，每个流只需要84个ack用于非调度的数据包。

超额订阅拓扑（收敛网络）。一些主动方案（如NDP、Homa和pHost）假设网络核心没有拥塞。但是，使主动式解决方案能够处理超额订阅的拓扑并不是Aeolus的目标。例如，当与上述主动方案集成时，Aeolus无法避免过度订阅拓扑中非调度数据包的拥塞丢包。

## 结论

本文介绍了一个易于部署的Aeolus解决方案，它将“预信用”数据包传输作为所有主动传输的构建块。Aeolus的核心是将调度数据包优先于非调度数据包处理，以便主动传输可以充分利用空闲带宽，同时保持其确定性。此外，Aeolus还引入了一种新的选择性丢包方案，该方案允许在存在空闲带宽时以线速率突发预信用新流，但一旦带宽用完，就立即选择性地丢弃它们。此外，Aeolus将保留的主动传输重用为安全高效地恢复被丢弃的第一个RTT数据包的方法。Aeolus且与所有现有的主动式解决方案兼容。我们已经使用DPDK和商用交换机硬件实现了一个Aeolus原型，并通过小型试验台实验和大型仿真对其进行了评估。我们的实施和评估结果都表明，Aeolus是一种很有前途的方案，可以强化所有现有的主动传输解决方案。

参考文献：Shuihai Hu, Wei Bai, Gaoxiong Zeng, Zilong Wang, Baochen Qiao, Kai Chen, Kun Tan, and Yi Wang. 2020. Aeolus: A Building Block for Proactive Transport in Datacenters. In Proceedings of the Annual conference of the ACM Special Interest Group on Data Communication on the applications, technologies, architectures, and protocols for computer communication (SIGCOMM '20). Association for Computing Machinery, New York, NY, USA, 422–434.

> <span style="font-style: italic;">声明：本文素材来源于网络，仅供学习使用，如有侵权请联系网站删除(ngdcn_admin@163.com)。由于本人水平有限，如有纰漏，请以参考文献文章为准。</span>

<font color=red>**欢迎扫码关注微信公众号“网络技术风云汇”，更快速接收更多网络技术咨询。**</font>