This paper considers distributed optimization (DO) where multiple agents cooperate to minimize a global objective function, expressed as a sum of local objectives, subject to some constraints. In DO, each agent iteratively solves a local optimization model constructed by its own data and communicates some information (e.g., a local solution) with its neighbors until a global solution is obtained. Even though locally stored data are not shared with other agents, it is still possible to reconstruct the data from the information communicated among agents, which could limit the practical usage of DO in applications with sensitive data. To address this issue, we propose a privacy-preserving DO algorithm for constrained convex optimization models, which provides a statistical guarantee of data privacy, known as differential privacy, and a sequence of iterates that converges to an optimal solution in expectation. The proposed algorithm generalizes a linearized alternating direction method of multipliers by introducing a multiple local updates technique to reduce communication costs and incorporating an objective perturbation method in the local optimization models to compute and communicate randomized feasible local solutions that cannot be utilized to reconstruct the local data, thus preserving data privacy. Under the existence of convex constraints, we show that, while both algorithms provide the same level of data privacy, the objective perturbation used in the proposed algorithm can provide better solutions than does the widely adopted output perturbation method that randomizes the local solutions by adding some noise. We present the details of privacy and convergence analyses and numerically demonstrate the effectiveness of the proposed algorithm by applying it in two different applications, namely, distributed control of power flow and federated learning, where data privacy is of concern.
翻译:本文考虑了分布优化( DO ), 多个代理商合作将全球目标功能最小化, 以当地目标的总和表示, 不受某些限制。 在 DO 中, 每个代理商反复解决了由自身数据构建的本地优化模型, 并在获得全球解决方案之前与其邻居交流一些信息( 例如本地解决方案 ) 。 尽管本地存储的数据不与其他代理商共享, 但仍有可能从代理商之间传递的信息中重建数据, 这可能会限制DO在敏感数据应用中的实际使用。 为了解决这个问题, 我们建议为限制的 convex优化模型使用一个隐私保护DA 算法, 提供数据隐私的统计保障, 被称为差异隐私, 并用一系列的循环模型与预期的最佳解决方案相交替。 拟议的算法概括一种线性交替的乘数方向方法, 采用多个本地更新技术来降低通信成本, 并在本地优化模型中引入一个客观的扰动方法, 我们无法利用随机的本地解决方案来重建本地数据, 从而维护数据隐私。 在使用配置的配置的配置方法中,, 使用 使用 使用 的配置 的配置, 数据, 使用 使用 的 使用 的 的 的 的 使用 的 的 的 的 的 使用 的 的 的 的 使用 的 的 的 的 的 的 的 使用 的 的 的 的 的 的 的 的 的 的 的,, 使用 使用 使用 使用 使用 使用 的 的 的 的 使用 使用 使用 的 的 使用 的 的 的 的 的 的 的 的 使用 使用 使用 使用 的 的 的 的 使用 使用 的 的 使用 使用 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 使用 使用 使用 使用 使用 使用 的 的 的 使用 使用 使用 的 的 的 的 的 的 使用 使用 使用 使用 使用 使用 使用 的 的 使用 使用 使用 使用 使用 使用 使用 </s>