【WWW2021】大规模智能手机数据的异质联邦学习

联邦学习（Federated Learning）是一种新兴的保护隐私的机器学习范式，在学术界和行业中都引起了极大的关注。联邦学习的一大特征是异构性，它来源于参与学习的设备有各种硬件规格、且设备状态是动态变化的。异构性会对联邦学习训练过程产生巨大影响，例如，导致设备无法进行训练或无法上载其模型更新。不幸的是，这种影响尚未在现有的联邦学习文献中进行过系统的研究和量化。本文进行了第一个联邦学习中异构性影响的实证研究。本文从13.6万部智能手机中收集了大量数据，这些数据可以真实地反映现实环境中的异构性。本文还构建了一个符合标准联邦学习协议同时考虑了异构性的联邦学习平台。基于以上数据和平台进行了广泛的实验，以比较目前最优的联邦学习算法在考虑异构性和不考虑异构性下的性能。结果表明，异构性导致联邦学习的性能显着下降，包括高达9.2％的准确度下降，2.32倍的训练时间延长以及公平性受损。此外，本文进行了原因分析，发现设备故障和参与偏差是导致性能下降的两个潜在根本原因。我们的研究对联邦学习从业者具有深刻的启示。一方面，本文的发现表明联邦学习算法设计师在模型评估过程中有必要考虑异构性。另一方面，本文的发现敦促联邦学习的系统设计者设计特定的机制来减轻异构性的影响。中心博士生杨程旭为该文第一作者。