【ICML2021-Tutorial】机器学习隐私，90页ppt

在现实世界中，越来越多的客户在使用人工智能服务时将隐私视为一个问题，尤其是当客户内容包含敏感数据时。最近的研究表明，像GPT-2这样的大型语言模型可以记忆内容，这些内容可以被对手提取出来。当模型在客户数据上接受训练时，这在部署场景中带来了很高的隐私风险。由于其数学上的严密性，差分隐私被广泛认为是隐私保护的黄金标准。为了缓解机器学习中对隐私的担忧，许多研究工作都在研究具有不同隐私保障的机器学习。现在是时候澄清不同隐私下学习的挑战和机会了。在本教程中，我们首先描述了机器学习模型中潜在的隐私风险，并介绍了差分隐私的背景，然后介绍了在机器学习中保障差分隐私的流行方法。在接下来的教程中，我们强调学习和隐私之间的相互作用。在第二部分中，我们展示了如何利用学习属性来提高隐私学习的效用，特别是利用数据点之间的相关性和深度学习模型的低秩属性来解决这些挑战的最新进展。在第三部分，我们提出了研究的另一个方向，即利用差分隐私的工具来解决经典的泛化问题，并给出了利用差分隐私的思想来抵抗机器学习攻击的具体场景。