UCL最新「机器学习隐私」综述论文，概述隐私挑战

本文回顾了机器学习中的隐私挑战，并提供了相关研究文献的关键概述。讨论了可能的对抗性模型，讨论了与敏感信息泄漏相关的广泛攻击，并突出了几个开放的问题。

https://ieeexplore.ieee.org/document/9433648

引言

像谷歌、微软和亚马逊这样的供应商为客户提供软件接口，方便地将机器学习(ML)任务嵌入他们的应用程序。总的来说，机构可以使用ML-as-a-service (MLaaS)引擎来处理复杂的任务，例如训练分类器、执行预测等。他们还可以让其他人查询根据他们的数据训练的模型。当然，这种方法也可以用于其他环境，包括政府协作、公民科学项目和企业对企业的伙伴关系。不幸的是，如果恶意用户恢复用于训练这些模型的数据，由此产生的信息泄漏将产生严重的问题。同样地，如果模型的参数是秘密的或被认为是专有的信息，那么对模型的访问不应该让对手知道这些参数。在这篇文章中，我们研究了这一领域的隐私挑战，并对相关的研究文献进行了系统的回顾。

我们讨论的是可能的对抗性模型和设置，其中涵盖了与私人和/或敏感信息泄漏相关的广泛攻击，并简要调研了最近的结果，试图防止此类攻击。最后，我们提出了一个需要更多工作的开放式问题列表，包括需要更好的评估、有针对性的防御，以及研究与策略和数据保护工作的关系。

机器学习隐私

任何系统的安全性都是根据其设计用来防御的敌对目标和能力来衡量的;为此目的，现在讨论了不同的威胁模型。然后，本文试图在ML中提供隐私的定义，重点讨论在“攻击”一节中详细讨论的不同类型的攻击。

总的来说，我们关注的是模型的隐私。(注意，对抗样例和整体鲁棒性问题超出了本文的范围。)在本节中，将讨论与提取有关模型或训练数据的信息相关的对抗目标。

当模型本身代表知识产权时，例如在金融市场系统中，模型及其参数应保持私有。在其他情况下，必须保存训练数据的隐私，例如在医疗应用中。无论目标是什么，攻击和防御都与暴露或防止暴露模型和训练数据有关。

攻击者可能拥有的访问类型可以是： ■ 白盒，其中对手有关于模型或其原始训练数据的一些信息，如ML算法、模型参数或网络结构;或者总结、部分或全部的培训数据。 ■ 黑盒，对手对模型一无所知。相反，他/她可以通过提供一系列精心设计的输入和观察输出来探索一个模型。

一个需要考虑的变量是攻击可能发生的时候:

■ 训练阶段: 在这个阶段，对手试图学习模型，例如，访问摘要、部分或全部训练数据。他/她可能会创建一个替代模型(也称为辅助模型)来对受害者的系统进行攻击。

■ 推理阶段: 在这个阶段，对手通过观察模型的推理来收集关于模型特征的证据。

最后，我们可以区分被动攻击和主动攻击:

■ 被动攻击: 在这种类型的攻击中，对手被动地观察更新并执行推理，例如，不改变训练过程中的任何东西。

■ 主动攻击: 在这种类型的攻击中，对手主动改变他/她的操作方式，例如，在联邦学习的情况下，通过使用连接到最后一层的增强属性分类器扩展他们的协作训练模型的本地副本。