当前位置：首页 > NSDI > 正文

【NSDI 2023】腾讯和清华联袂打造精品！使用自适应帧速率实现高质量实时通信

NSDI
2022-11-29
1904
更新：2023-01-04 21:44:52

**<font size=5pt> 摘要</font>**

新兴的高质量实时通信（RTC）应用以高帧速率（HFR）传输超高清（UHD）视频。他们使用边缘计算，来实现了高带宽和低延迟流。我们从一家最大游戏公司的云游戏平台进行的测量表明，在这种情况下，客户端解码器的队列通常是导致高延迟的原因，这会损害用户的体验。因此，我们提出了一种自适应帧速率（AFR）控制器，该控制器通过自适应地协调帧速率与波动的网络条件和解码器容量来帮助实现超低延迟。AFR的设计解决了两个关键挑战：（1）队列测量不能为控制回路提供及时反馈；以及（2）多个因素控制解码器队列，并且必须根据队列累积的原因采取不同的动作。跟踪驱动仿真和真实大规模部署都表明，AFR可以将尾部排队延迟减少7.4倍，通过端到端延迟测量的卡顿事件平均减少34%。AFR已在我们的云游戏服务中投入生产超过一年。

**<font size=5pt> 1、引言</font>**

5G等新兴网络技术使学术界和业界对具有超高清（UHD）、高帧率（HFR）和减少延迟的高质量实时通信（RTC）应用感到兴奋。这些应用包括例如像云游戏、虚拟现实和4K视频会议这些。一些高质量的RTC服务已经在生产中部署（例如，谷歌、微软、英伟达的云游戏）。举例来说，2020年，云游戏的市场份额达到10亿美元，预计增长率为30%。

为了获得满意的用户体验，这些应用程序需要以高分辨率、高帧速率和低延迟进行流式传输（§2）。例如，云游戏服务提供分辨率为≥1080p和60fps的帧速率，同时需要小于100ms的尾部端到端延迟。像这样的流媒体显著改善了用户的体验，并启用了新的应用程序。

本文认为，除了调制比特率以匹配网络容量之外，高质量的RTC系统还必须调节解码器队列的排队。对于传统的标准质量RTC，解码帧所需的时间比帧的到达间隔时间短得多。因此，解码器队列不是瓶颈，传统的RTC服务只需要调整比特率以匹配网络带宽。然而，在高质量RTC中，高帧速率减少了帧到达客户端之间的时间，而高分辨率增加了每个帧的解码延迟。在解码器队列中，帧到达率经常超过离开率，导致长队列，如图1所示。视频传输不仅需要使比特率适应网络带宽，还需要与解码器队列容量相协调。通过对我们的生产云游戏服务Tencent Start的测量，我们发现，在不协调队列容量的情况下，视频传输可能会在客户端解码器队列中引入不可忽略的排队延迟。此外，在满足高质量RTC更严格的延迟要求时，这种排队延迟占延迟帧的很大比例，特别是当网络延迟随着最近的基础设施发展（例如，边缘计算）而减少时。根据我们的测量，在总往返延迟>100ms的所有帧中，57%的帧在解码器队列中延迟>50ms（§3.1）。我们的调查发现，即使随着解码硬件的发展，UHD和HFR视频的未来需求也会进一步加剧这一问题。因此，对于高质量的RTC，为了减少端到端延迟，必须减少解码器处的排队延迟。

并非所有干预措施都能有效地调节解码器队列的排队（§3.2）。例如，解码延迟不受比特率的影响。它受分辨率的影响，但调整分辨率需要客户端请求新的关键帧。这会消耗带宽并导致多个额外的帧延迟间隔。在客户端丢弃帧还需要新的关键帧，这会产生相同的成本**。因此，我们引入了一种自适应帧速率（AFR）控制器，它控制编码器的帧速率。降低帧速率给解码器更多的时间来处理帧。因此，它可以有效地缩短队列长度。此外，边缘流服务提供短RTT，这意味着调整编码器帧速率的控制环路经短**。

注意，以前曾努力调整帧速率（例如，几十年前的CU SeeMe）。然而，近十年来解码硬件的发展使其成为冗余，而近十年的传统RTC在网络中大多面临瓶颈。在本文中，我们展示了具有UHD分辨率、HFR和严格延迟要求的高质量RTC如何改变了这一点。我们从两个方面进一步改进这些建议。首先，现有的控制机制基于延迟或队列长度，因为它们需要等待队列建立，所以反应缓慢。AFR反而依赖于到达和服务过程以及队列长度来调整帧速率。第二，并非所有解码排队延迟的增加都需要降低帧速率。例如，当排队延迟由于到达分组的瞬时突发而增加时。因此，AFR使用两个控制环路来在不同的时间尺度上调整帧速率。

我们在两个仿真器上都实现了AFR控制器，并在腾讯Start的云游戏服务生产中实现了AFR。跟踪驱动的仿真和实际部署表明，AFR可以有效地将尾部排队延迟减少7.4倍，从而以可忽略的开销将总延迟测量的帧抖动比率减少2.2倍（§6.1和§6.5）。自2021年2月以来，AFR已部署在腾讯Start上，为数百万个会话提供服务。我们将发布收集的跟踪记录和仿真代码。

我们做出以下贡献：

<span> </span><span>●</span> 我们开展了为期一个月的测量活动，以发现控制解码器队列排队延迟的重要性，并确定具有严格延迟要求的高质量RTC的独特挑战（§3）。

<span> </span><span>●</span> 我们设计了分级帧速率控制器AFR，以控制解码器队列在高质量RTC的不同场景下的超短延迟（§4）。

<span> </span><span>●</span> 我们通过跟踪驱动仿真/ trace-driven simulation和真实生产中的大规模部署来评估AFR（§5）。我们的评估表明，排队延迟和端到端总延迟都可以显著改善（§6）。AFR已用于部署一年多。

**<font size=5pt> 2、背景：高质量RTC</font>**

高质量RTC应用正在吸引业界和学术界的关注。最近发布了一系列高质量RTC产品，包括云游戏、虚拟现实（VR）和4K视频会议。例如，通过生成高质量的内容并通过互联网向用户提供流媒体，用户可以使用低成本设备享受更好的视频质量。具体而言，高质量RTC具有以下突出于传统RTC应用的特点：

<span> </span><span>●</span> 高帧率。传统RTC通常以24fps的低帧速率（LFR）传输内容。然而，高质量RTC需要高达60fps的帧速率，其中一些甚至需要240fps。

<span> </span><span>●</span> 高分辨率。大多数现有RTC应用程序默认以SD分辨率交付（例如，Google Meet的360p）。
相比之下，高质量RTC应用需要1080p至4K或更高的分辨率。

<span> </span><span>●</span> 严格的延迟要求。此外，高质量RTC应用程序也有严格的延迟要求。例如，视频会议需要150ms的往返交互延迟和游戏需要100ms。

**现有传输管道**。为了更好地理解高质量RTC的瓶颈，我们在图2中展示了现有RTC传输管道的关键组件。首先，视频编码器捕获从视频源（例如，游戏应用）生成的内容，并将其编码为视频帧。然后，编码帧通过网络从流服务器发送到用户客户端。之后，在客户端，当从网络接收到新帧时，解码器将解码这些帧。最后，解码的视频帧将显示在用户的显示器上。

**优化目标：低尾部延迟**。在最近的研究工作中，利用各个社区的情报（intelligence from each community），对每个组件的延迟进行了密集优化。。为了减少网络延迟，现有提供商要么在边缘部署流服务器，引入低延迟拥塞控制器，要么建议用户使用有线连接。例如，最近的测量表明，云游戏服务可以以20ms的平均往返网络延迟交付RTC流。类似地，流式编码器针对低延迟进行了优化，以满足高质量RTC服务中的严格延迟要求。

同时，优化尾部性能对于用户体验高质量RTC也至关重要。尾部延迟的增加将导致帧卡顿或冻结，从而降低用户的体验。视频流中的体验质量评估框架通常单独计算卡顿时间，作为对用户体验的惩罚。考虑到高质量RTC的高帧速率，需要关注第99或99.9个百分位的尾部区域。例如，在60fps的帧速率下，甚至99.9个百分位的延迟也可能每16秒发生一次。特别是对于云游戏等应用程序，这种延迟可能会导致游戏丢包（例如，当玩家在射击游戏中被对手发现时暂停）。因此，控制尾部延迟和减少帧抖动对于高质量RTC至关重要。

**<font color=red>本文提出的AFR，通过动态调整帧速率来减少高质量RTC解码器队列的排队延迟。AFR引入了一个静态控制器和一个瞬态控制器，以分别缓解静态繁忙交通和应急到达和服务。通过仿真和在生产集群中的部署，进一步评估AFR的性能。实验表明，AFR可以显著降低卡顿率和尾部总延迟。</font>**

感兴趣的读者可以通过阅读[原文](https://zilimeng.com/papers/afr-nsdi23.pdf)来了解更多细节。

注：：姊妹篇可以阅读SIGCOMM 2022[论文](https://zilimeng.com/papers/zhuge-sigcomm22.pdf)。

> <span style="font-style: italic;">声明：本文素材来源于网络，仅供学习使用，如有侵权请联系网站删除(ngdcn_admin@163.com)。</span>

<font color=red>**欢迎扫码关注微信公众号“网络技术风云汇”，更快速接收更多网络技术咨询。**</font>

NSDI