【ICML2021】面向异构联邦学习的无数据知识蒸馏

联邦学习(federal Learning, FL)是一种去中心化的机器学习范式，其中全局服务器迭代地聚合本地用户的模型参数，而不访问他们的数据。用户异质性给FL带来了重大挑战，这可能导致漂移的全局模型收敛缓慢。为了解决这个问题，最近出现了知识蒸馏(Knowledge Distillation)，它使用来自异构用户的聚合知识来精炼服务器模型，而不是直接聚合他们的模型参数。然而，这种方法依赖于代理数据集，因此除非满足这些前提条件，否则是不切实际的。此外，没有充分利用集成知识来指导局部模型学习，这可能会影响聚合模型的质量。在这项工作中，我们提出了一种无数据的知识蒸馏方法来解决异构的FL，其中服务器学习一个轻量级的生成器以无数据的方式集成用户信息，然后将这些信息广播给用户，使用学习到的知识作为归纳偏差来调节本地训练。理论支持的实证研究表明，与现状相比，我们的方法使用更少的通信轮次，使FL具有更好的泛化性能。

https://www.zhuanzhi.ai/paper/662ba057e6661b256a53516378ffbf30