【CMU博士论文】异构网络中可扩展且值得信赖的学习方法，147页pdf

开发机器学习模型在很大程度上依赖于访问数据。为了建立负责任的数据经济并保护数据所有权，关键是在不集中的情况下使学习模型能够从不同的异构数据源中进行学习。联邦学习（Federated Learning，FL）旨在在大量远程设备或隔离组织之间集体训练模型，同时保持用户数据本地化。然而，联邦网络引入了许多超出传统分布式学习场景的挑战。虽然FL在实现边缘应用方面显示出巨大的潜力，但当前的FL系统受到若干限制。除了准确性之外，联邦方法必须能够适应潜在的大规模和异构的设备网络，并且必须表现出值得信赖的行为，以解决与公平性、稳健性和用户隐私等问题相关的实际问题。在本论文中，我们旨在以一种有原则的方式解决联邦学习的实际挑战。我们研究了异构性如何成为联邦学习约束的核心，它不仅影响模型的准确性，还与其他关键指标（如公平性、稳健性和隐私）相互竞争。为了解决这些指标，我们开发了新的可扩展学习目标和算法，严格考虑和解决异构性的来源。特别地，在准确性方面，我们提出了在实际异构性假设下具有收敛性保证的新型联邦优化框架。在信任性方面，我们开发并分析了公平学习目标，提供了灵活的公平性/效用权衡。我们考虑了公平性和稳健性之间的联合约束，并探索了个性化FL，以能够同时可证明地解决两者。最后，我们研究了新的差分隐私优化方法，改善了在隐私约束下的收敛性能，实现了最先进的隐私性能。尽管我们的工作以联邦学习的应用为基础，但我们表明许多技术和基本权衡在更一般的大规模和值得信赖的机器学习应用中都有很好的推广价值。