当前位置：首页 > NSDI > 正文

【NSDI 2023】TopoOpt: 优化分布式 DNN 训练的网络拓扑

NSDI
2022-11-29
2888
更新：2023-01-04 21:44:41

> 论文链接 NSDI 2023 [[2202.00433\] TopoOpt: Optimizing the Network Topology for Distributed DNN Training (arxiv.org)](https://link.zhihu.com/?target=https%3A//arxiv.org/abs/2202.00433)
> 代码链接 [GitHub - hipersys-team/TopoOpt: [NSDI 2023\] TopoOpt: Optimizing the Network Topology for Distributed DNN Training](https://link.zhihu.com/?target=https%3A//github.com/hipersys-team/TopoOpt)

**<font size=6pt> 1、简介</font>**

本文从计算、通讯、网络拓扑三个维度对大模型的分布式训练进行优化，提出一个优化框架TOPOOPT。TOPOOPT将整个优化过程分成 计算×通讯、 通讯×拓扑 两个层面，交替从两个层面进行优化。

TOPOOPT框架搜索流程

**<font size=6pt>2、问题分析</font>**

本文将训练过程中节点间的信息流（traffic）分成两种：

1、 MP transfers：与模型并行有关，主要是在前向计算和反向传播过程中计算的激活和梯度
2、 AllReduce transfers：与数据并行有关，主要是在一个batch的样本训练完成后进行AllReduce操作时，在不同accelerator之间同步模型参数。

注意：

<span> </span><span>●</span>  混合并行策略（模型并行+数据并行）会同时产生两种信息流。
<span> </span><span>●</span>  AllReduce transfers也不只是由数据并行产生，模型并行也会产生。

网络拓扑对信息流的影响（以Ring-AllReduce为例）：

Figure 4与 Figure 6 中的 a、b、c分别由Figure 5 中的a、b、c三种拓扑产生。信息流AllReduce transfers表现未每幅图中都有一条深蓝色对角线方块，随着环形拓扑的改变而改变，这是因为Ring-AllReduce在服务器之间存在一个环；

信息流MP transfers则是图中不随网络拓扑的改变而改变的浅绿色方块，这只与并行策略以及训练任务在设备上的位置有关。

论文给出的训练任务的特性（持续时间、worker数目、传输的数据量等），累计分布函数（CDF）如下：

**<font size=6pt>3、文章提出的TOPOOPT方法</font>**

**（1）联合优化并行策略以及网络拓扑**

为了计算、通讯、网络拓扑组成的巨大的搜索空间，本文将搜索空间分成两个层面：计算×通讯、通讯×拓扑，在这两个层面之间进行交替的搜索

1）计算×通讯：在并行策略层面，使用FlexFlow框架的MCMC（马尔科夫链蒙特卡洛）搜索算法寻找当前网络拓扑中最好的并行策略

2）通讯×拓扑：若搜索到的并行策略有更好效果，则传入通讯×拓扑层面，使用 TOPO;OGYFINDER 算法，来寻找最优的拓扑与路由。

交替进行两个层面的优化直到收敛。

**（2）TOPOLOGYFINDER 算法**

根据信息流量的比例分配每个服务器的d个接口给AllReduce transfers和MP transfers，为了保证Ring-AllReduce的拓扑结构，至少与一个接口分配给AllReduce transfers

使用TotientPerms算法搜寻拓扑中的常规的环，即每个服务器与其连接的服务器的序号差值相同。

搜索完AllReduce transfers的拓扑后，使用Coin-change的思想来寻找两个服务器之间的最短路径。

使用Blossom maximum weight matching algorithm搜索MP transfers的拓扑。

结合AllReduce和MP的拓扑作为最终的拓扑并且最找最终的路由路径。

一个例子，16台服务器，每台服务器有6个NIC，即接口数d=6，TOPOOPT优化出的拓扑结合了三个ring-AllReduce的拓扑，使得负载更均衡。

文章还进行了模拟实验，对比不同模型的训练性能。

**<font size=6pt>4、个人总结</font>**

方法上，这篇文章通过将优化过程分成两个层面进行交替优化的方法，缩小的搜索空间。在网络拓扑优化过程使用先验算法进行搜索。

实验上，这篇文章开源了代码，包含其基于FlexFlow扩展的模拟器，文中是使用多台高性能的机器进行模拟。

**Reference：** [1] WANG W, KHAZRAEE M, ZHONG Z, et al, 2022. TopoOpt: Optimizing the Network Topology for Distributed DNN Training[M/OL]. arXiv[2022-07-15]. [http://arxiv.org/abs/2202.00433](https://link.zhihu.com/?target=http%3A//arxiv.org/abs/2202.00433).

> 作者：DAWN
> 来源：知乎
> 链接：https://zhuanlan.zhihu.com/p/560995019

> <span style="font-style: italic;">声明：本文素材来源于网络，仅供学习使用，如有侵权请联系网站删除(ngdcn_admin@163.com)。</span>

<font color=red>**欢迎扫码关注微信公众号“网络技术风云汇”，更快速接收更多网络技术咨询。**</font>

NSDI