亚马逊最新《联邦学习》简明综述

联邦学习(federal learning, FL)已经发展成为一个很有前途的框架，可以利用边缘设备的资源，增强客户的隐私，遵守规则，并降低开发成本。虽然许多方法和应用已经开发用于FL，但实际FL系统的几个关键挑战仍然没有解决。本文作为ICASSP 2022年“联邦学习的前沿:应用、挑战和机遇”特别会议的一部分，对联邦学习的发展进行了展望。将其展望分为算法基础、个性化、硬件与安全约束、终身学习、非标准数据五个新兴的FL方向。我们独特的观点得到了大规模联邦系统对边缘设备的实际观察的支持。

https://www.zhuanzhi.ai/paper/39a7d4ee8712a68df844567ae2010fbe

联合学习[1,2]是一种流行的针对边缘设备开发的分布式学习框架。它允许私有数据停留在本地，同时利用边缘设备的大规模计算。它的主要思想是通过在每个所谓的联邦或通信轮中交替执行以下内容来学习联合模型: 1) 服务器将模型推送给客户端，然后客户端将执行多个本地更新，2) 服务器从客户端子集聚合模型。实际FL系统的设计是非常重要的，因为FL经常涉及数以百万计的设备、来自不同队列的未知异构性、有限的设备容量、不断变化的数据分布和部分标记的数据。受实际观察的启发，我们将在以下五个部分中列出一些关键的挑战(如图1所示)。