Federated learning (FL) is a new paradigm that enables many clients to jointly train a machine learning (ML) model under the orchestration of a parameter server while keeping the local data not being exposed to any third party. However, the training of FL is an interactive process between local clients and the parameter server. Such process would cause privacy leakage since adversaries may retrieve sensitive information by analyzing the overheard messages. In this paper, we propose a new federated stochastic primal-dual algorithm with differential privacy (FedSPD-DP). Compared to the existing methods, the proposed FedSPD-DP incorporates local stochastic gradient descent (local SGD) and partial client participation (PCP) for addressing the issues of communication efficiency and straggler effects due to randomly accessed clients. Our analysis shows that the data sampling strategy and PCP can enhance the data privacy whereas the larger number of local SGD steps could increase privacy leakage, revealing a non-trivial tradeoff between algorithm communication efficiency and privacy protection. Specifically, we show that, by guaranteeing $(\epsilon, \delta)$-DP for each client per communication round, the proposed algorithm guarantees $(\mathcal{O}(q\epsilon \sqrt{p T}), \delta)$-DP after $T$ communication rounds while maintaining an $\mathcal{O}(1/\sqrt{pTQ})$ convergence rate for a convex and non-smooth learning problem, where $Q$ is the number of local SGD steps, $p$ is the client sampling probability, $q=\max_{i} q_i/\sqrt{1-q_i}$ and $q_i$ is the data sampling probability of each client under PCP. Experiment results are presented to evaluate the practical performance of the proposed algorithm and comparison with state-of-the-art methods.
翻译:联邦学习( FL) 是一个新的范例, 使许多客户能够根据参数服务器的配置, 联合培训机器学习( ML) 模式, 同时不让任何第三方接触本地数据 。 然而, FL 培训是本地客户和参数服务器的互动过程 。 这一过程会导致隐私泄漏, 因为对手可以通过分析被偷听到的信息来获取敏感信息 。 在本文中, 我们提出一个新的有不同隐私( FedSPD- DP) 的混合原始算法 。 与现有方法相比, 拟议的 FedSPD- DP 包含本地平价梯度下降( 本地 SGD) 和部分客户参与解决通信效率问题和随机访问客户的分流效应 。 我们的分析表明, 数据取样战略和五氯苯酚可以提高数据隐私, 而更多的本地 SGD 步骤可以增加隐私泄漏, 将算法通信效率和隐私保护的非三重交易额( FedSSPD) 。 与 美元 美元 和 美元( delta) 美元- 美元 美元 和 美元 美元 美元- 美元 美元 美元 美元 美元 美元- 美元 美元 美元 美元 美元 数据 运行 运行 后的拟议数据 运行, 我们通过保证每个客户客户 运行 的 数据 的 运行 的 数据 运行 的 保证 数据 保证 。