【AAAI2021】非独立同分布下的自分组个性化联邦学习

联邦学习机制以其独有的隐私保护机制受到很多拥有高质量数据的客户青睐。通过联邦学习，能有效地打破数据孤岛，使数据发挥更大的作用，实现多方客户在保证隐私的情况下共赢。但与此同时，在实际应用中各个客户的数据分布非常不一致，对模型的需求也不尽相同，这些在很大程度上制约了传统联邦学习方法的性能和应用范围。为此, 在客户数据分布不一致的情况下如何提高模型的鲁棒性成为了当前学术界与工业界对联邦学习算法优化的核心目标，希望通过联邦学习得到的模型能满足不同客户的需求。

传统的联邦学习的目的是为了获得一个全局共享的模型，供所有参与者使用。但当各个参与者数据分布不一致时，全局模型却无法满足每个联邦学习参与者对性能的需求，有的参与者甚至无法获得一个比仅采用本地数据训练模型更优的模型。这大大降低了部分用户参与联邦学习的积极性。

为了解决上述问题，让每个参与方都在联邦学习过程中获益，个性化联邦学习在最近获得了极大的关注。与传统联邦学习要求所有参与方最终使用同一个模型不同，个性化联邦学习允许每个参与方生成适合自己数据分布的个性化模型。为了生成这样的个性化的模型，常见的方法是通过对一个统一的全局模型在本地进行定制化。而这样的方法仍然依赖一个高效可泛化的全局模型，然而这样的模型在面对每个客户拥有不同分布数据时经常是可遇而不可求的。

为此，华为云 EI 温哥华大数据与人工智能实验室自研了一套个性化联邦学习框架 FedAMP。该框架使用独特的自适应分组学习机制，让拥有相似数据分布的客户进行更多的合作，并对每个客户的模型进行个性化定制，从而有效地处理普遍存在的数据分布不一致问题，并大幅度提高联邦学习性能。

https://www.zhuanzhi.ai/paper/61491429b7484d2c06987fe4163f273e