当前位置：首页 > NSDI > 正文

iSING Lab & 星云Clustar论文 FLASH 被 NSDI 2023接收，实现跨数据孤岛联邦学习算力加速

NSDI
2022-12-12
1960
更新：2023-01-04 21:45:46

# 内容提要

FLASH is accepted to NSDI 2023!

近日，香港科技大学iSING Lab 与星云Clustar合作的论文《 FLASH: Towards a High-performance Hardware Acceleration Architecture for Cross-silo Federated Learning》被国际顶级网络系统学术会议NSDI 2023正式接收。论文介绍了星云Clustar推出的联邦学习加速器的整体设计实现与性能评估，包含基于FPGA的原型设计方案以及芯片化后的性能评估。该加速卡也是业界首款面向隐私计算应用场景，并得到商业化验证的联邦学习算力加速卡。

第20届USENIX网络系统设计与实现研讨会USENIX Symposium on Network System Design and Implementation (NSDI) 将于2023年4月17日至19日在美国马萨诸塞州波士顿市召开。NSDI是网络系统领域最高水平学术会议之一，本次秋季投稿共288篇，接收46篇（接收率16%）。

在本次会议中，香港科技大学智能网络与系统实验室iSING Lab和星云 Clustar 合作的一篇论文被收录，题目为 FLASH: Towards a High-performance Hardware Acceleration Architecture for Cross-silo Federated Learning，作者为 Junxue Zhang，Xiaodian Cheng, Wei Wang, Liu Yang, Jinbin Hu, Kai Chen。

# 论文摘要

跨数据孤岛的联邦学习（Cross-silo Federated Learning），作为隐私计算的重要技术之一，在学术界和工业界均得到了广泛的关注。联邦学习中大量的密码学操作（Operation），如Paillier 加密、解密，密文运算以及 RSA 盲化、去盲，一方面保护了数据隐私，另一方面也极大地降低了联邦学习整体的性能。本论文中，我们定位了联邦学习中严重降低性能的9种密码学操作，并提出一种高效的硬件体系结构来加速该些密码学操作。

然而静态地将这9种密码学操作卸载到硬件上会带来两个问题：（一）由于硬件资源的限制，每个密码学操作分配到的硬件资源有限，其加速效果不尽如人意；（二）联邦学习应用往往不会在同一时刻用到所有的9种密码学操作，因此，静态卸载的方法会造成大量的资源浪费，进一步制约了加速效果。

为了解决这些问题，我们对这9种密码学操作进行了深度地分析，我们发现：（一）这9种密码学操作都有共同的算子部分（Operator）—— 模幂运算以及模乘运算，即这9种密码学的操作均可以用模幂运算和（或）模乘运算，配合一些简单的运算组合而成；（二）这9种密码学操作超过95%的运算时间均消耗在模幂运算和（或）模乘运算上。

基于我们的发现，我们提出了 FLASH，一种高效的联邦学习加速硬件体系结构。FLASH的核心思想如下：（一）将主要的硬件资源用于实现加速模幂、模乘两个核心算子的加速引擎，并通过流水线并行、提供充足的片上内存来提升引擎的性能；（二）设计数据流调度控制器，实现动态、按需地将引擎组合成上层软件需要的密码学操作。

在本论文中，我们提供了基于 FPGA 的完整的 FLASH 的实现，并将其和主流的联邦学习框架 FATE 集成。对比基于 CPU的联邦学习实现，FLASH可以提供高达6.8倍的端到端性能提升。同时，我们也对 FLASH 进行了芯片实现后的性能评估：对比我们的 FPGA实现，在14nm 的芯片工艺可以提供23.6倍的额外性能提升。

# 产学研落地：业界首款商业落地联邦学习加速卡

产学研的融合发展，是新一代信息技术创新的核心。本论文也是香港科技大学 iSING Lab 与星云 Clustar 产学研落地的代表性成果之一。在该项工作中，iSING Lab专注学术研究，星云 Clustar专注产业落地，双向协同致力于解决联邦学习规模化应用过程中的性能提升问题。

星云Clustar是行业内最早开展隐私计算底层算力与网络优化研究的厂商之一，并形成了系列创新成果。本论文中提到的联邦学习加速卡是星云推出的业界首款面向隐私计算应用场景的FPGA算力加速卡，以自主设计研发的多任务并行、多引擎架构设计，灵活加速多种类型的加密工作负载，大幅强化隐私计算的通信效率与计算能力。目前，该产品在金融、政府、互联网等领域均有真实场景部署应用实践。

以某头部互联网银行合作的信贷场景纵向联邦加速项目为例，星云Clustar使用本文所述的联邦学习算力加速卡，对联邦学习等隐私计算算法过程中的数据加密、数据解密、数据混淆、密文矩阵乘法，密态加法、密态乘法、模幂算子、模乘等密码学操作进行了充分的加速，从而使得联邦学习的整体性能得到了大幅度提升，有效地提升了业务迭代、验证效率。

实际项目中，在数据量超过1千万个级别，数据特征维度超过30维的纵向联邦训练中，实现相对于多核CPU的6倍端到端性能提升，单核提升平均为60倍，极大提升了联邦学习、隐私计算等应用的计算、建模效率，安全、稳定、高效地帮助金融机构客户利用联邦学习、隐私计算等数据流通技术，解决客户增长渐缓、精准信贷投放乏力等问题，最终全面提升银行的风控金融产品与服务质量。

在推进产学研联动进程中， iSING Lab 与星云 Clustar 近期科研合作成果还包含 FedSVD（KDD 2022）、Sphinx （Oakland 2022）、LiteFlow (SIGCOMM  2022)等，未来双方也将继续深化产学研一体化合作，协同创造更具价值的科技创新成果。

# 关于iSING Lab

香港科大智能网络与系统实验室 ( iSING Lab）自2012年成立以来，专注于数据中心网络、分布式机器学习系统和隐私计算技术的研究，取得了一系列重要研究成果，是亚洲地区在相关领域内顶级会议SIGCOMM / NSDI 上发表成果最多的科研实验室之一，同时也承担香港政府 RGC 主题研究计划，专注下一代人工智能基础架构研究。

# 关于星云Clustar

深圳致星科技有限公司（简称“星云Clustar”）专注于高性能通用AI算力、隐私计算算力、网络算力的研发与场景应用，致力于以“算力+”技术，提供软硬件结合的基础设施，支持下一代高性能数据要素流通，赋能全行业数据价值有序共享与综合应用，推动企业数智化转型升级。

> 声明：本文素材来源于网络，仅供学习使用，如有侵权请联系网站删除(ngdcn_admin@163.com)。

<font color=red>**欢迎扫码关注微信公众号“网络技术风云汇”，更快速接收更多网络技术咨询。**</font>

NSDI