【ICLR2021】基于动态正则化的联邦学习

我们提出了一种新的用于分布式训练神经网络模型的联邦学习方法，其中服务器在每一轮随机选择的设备子集的协调合作。我们主要从通信的角度来看待联邦学习问题，并允许更多的设备级计算来节省传输成本。20指出了一个基本的困境，即局部设备级经验损失的最小值与全局经验损失的最小值不一致。与最近尝试不精确最小化或利用设备来并行梯度计算的工作不同，我们在每一轮为每个设备提出了一个动态正则化，这样在极限情况下全局解决方案和设备解决方案是对齐的。我们通过对真实数据和合成数据的实证结果以及分析结果证明，我们的方案能够在凸和非凸设置下实现高效的训练，同时完全不知道设备的异构性，对大量设备、部分参与和不平衡数据具有鲁棒性。

https://openreview.net/forum?id=B7v4QMR6Z9w