【ICML2021】基于共享表示的个性化联邦学习

深度神经网络已经显示出从图像和文本等数据中提取通用特征表示的能力，这对各种学习任务都很有用。在联邦设置中，表示学习的成果还没有完全实现。尽管联邦设置中的数据通常是非iid。在客户端，集中深度学习的成功表明，数据通常共享一个全局特征表示，而在客户端或任务之间的统计异质性集中在标签。基于这种直觉，我们提出了一种新的联合学习框架和算法来学习跨客户端共享的数据表示。我们的算法利用客户机之间的分布式计算能力，针对表示的每次更新的低维局部参数执行许多本地更新。我们证明了该方法在线性设置下获得了接近最优样本复杂度的ground-truth表示的线性收敛性，证明了该方法可以有效地降低每个客户端的问题维数。此外，我们提供了大量的实验结果，证明了我们的方法在异构环境下优于其他个性化联合学习方法。

https://arxiv.org/abs/2102.07078