会员服务 ·

《迈向可审计人工智能系统：现状和未来方向》白皮书，德国联邦信息安全局等十余个单位联合发布，附中文版

2022 年 5 月 1 日 专知

导语：随着主流商业世界从人工智能的理论使用转向生产规模的决策，可审计的人工智能是必不可少的，因为它包含的不仅仅是负责任的人工智能（强大、可解释、合乎道德和高效的人工智能）的原则。德国联邦信息安全局等十余个单位联合发布《迈向可审计人工智能系统：现状和未来方向》白皮书，专知特此做了中文编译，欢迎关注，完整中英文版请上专知网站(www.zhuanzhi.ai)查看！

https://www.zhuanzhi.ai/vip/91cbeed99fa140b1e74781b9ae0019ea

以下为正文：

一、超越负责任的人工智能：实现可审计人工智能的 8 个步骤

在当今的诉讼环境中，人工智能驱动的商业决策必须不仅仅是可解释的、合乎道德的和负责任的；我们需要可审计的人工智能。

您的 AI 能否通过监管机构？

随着主流商业世界从人工智能的理论使用转向生产规模的决策，可审计的人工智能是必不可少的，因为它包含的不仅仅是负责任的人工智能（强大、可解释、合乎道德和高效的人工智能）的原则。可审计的 AI 还提供通过监管审查所需的文件和记录，其中可能包括以下问题：

什么数据用于构建机器学习模型？数据是否代表生产环境？如果/当它们在开发阶段被发现时，如何解决数据偏差？
模型中使用的派生变量是什么？他们有偏见吗？治理团队是否批准在模型中使用变量？
利用了哪些特定的机器学习算法？它们是否适合正在解决的数据和问题？
模型是否完全可解释，具有解释模型做出的自动决策的准确原因代码，对模型用户和受影响方都可解释？
该模型是否设计为可解释的？推动结果的潜在特征是什么？他们是否进行了偏见测试？
对模型进行了哪些稳定性测试，以了解和纠正生产数据的变化？
是否有特定的监控要求来确保监控数据漂移、性能漂移和伦理治疗漂移？
当生产客户数据从模型训练的内容转移时，有哪些不起眼的 AI权宜之计可以降级到更安全的模型？
模型如何感知对抗性 AI攻击以及如何响应？

为什么可审计性很重要

需要注意的是，尽管“审计”一词具有事后的含义，但可审计的 AI 强调在模型构建期间和模型投入生产之前制定（和使用）明确规定的工作记录。

可审计人工智能通过在模型生产过程中创建公司记录的开发治理标准的审计跟踪，使负责任的人工智能成为现实。这可以避免在模型开发完成后进行随意的事后探测。还有额外的好处；通过尽早准确地了解模型何时出偏差，以便快速补救，公司可为自己省去无尽的痛苦，避免当人工智能在数据科学实验室之外出现问题时发生的声誉损害和诉讼。

可审计的人工智能可以帮助防止法律挑战

法律成本、声誉受损和客户不满只是受到 AI 倡导团体审查的沉重成本中的一小部分，而可审计的 AI 可以帮助防止所有这些成本。采用可审计人工智能将通过在整个模型开发过程中记录关键决策和结果来确保公司的人工智能标准得到遵循和执行。

尽管建立必须衡量、审查和批准的精确信息并非易事，但这样做会给公司带来两个宝贵的优势：

他们可以永久保存模型开发信息，以供以后审查和审计（由于数据科学人员流动性特别重要）。
使模型构建能够自信地进行，因为它们遵守公司的书面标准和“护栏”，以防止出现偏差。

构建可审计人工智能的步骤

如果没有严格的模型开发标准和指导方针，公司就很难出具始终如一地跟踪合规性的审计报告，以及用于确保投入生产的模型公平、公正和安全的关键数据。

在某些情况下，模型治理的关键部分简单而令人不安地没有得到解决。从研究模式到生产模式的转变需要数据科学家和公司有一个明确的标准。创新应该由 Highlander Principal 推动（“只能有一个”），因此您的组织在开发可审计的 AI 时需要提出以下问题：

当今的分析组织结构如何？是有一个领导者，还是有多个领导者矩阵？如果是后者，他们之间的协调程度如何，或者他们将如何相互协调？
现有的分析型领导者治理委员会是如何构成的？如何决定什么构成 AI 算法的可接受性以及公司围绕使用 AI 的理念？标准将如何记录？
负责任的人工智能是如何解决的？是否有积极的监测计划？它是如何运作的？不可变的区块链技术是否被用于保存每个模型如何满足标准记录系统，这个系统是否持续存在于个人数据科学家和组织变动之外？
数据道德计划和数据使用政策的状态如何？如何测试和使用合成数据？正在进行什么样的稳定性测试以确保模型能够在不断变化的生产环境中有效运行？
人工智能开发标准是什么？提供了哪些工具和资产？哪些算法是允许的，哪些不是？从模型操作的角度来看，可审计 AI越来越需要标准工具和标准变量库。这些选择是如何做出和维持的？是否有通用代码库和日常回归测试？如何提取和测试学习到的潜在特征的适用性、稳定性和偏差？
公司如何实现道德人工智能？组织中允许使用哪些 AI 技术，如何对其进行测试以确保其适合市场？今天是否对每个模型进行了监控，如果有，监控的是什么？理想情况下，这包括数据漂移、性能漂移和伦理治疗漂移。什么是预设的阈值以指示何时不应再使用模型？
公司围绕人工智能研究的理念是什么？公司是否努力证明其具有创造性，表明其对人工智能投资的更高风险的容忍度？还是该公司更保守，希望确保它使用的是受监管且易于监控的成熟技术？或者它会采取一种混合方法，一个团队负责展示人工智能的潜在艺术，另一个团队将其付诸实践？
公司的 AI 是否符合道德规范？是否将一些高风险模型置于“负责任的人工智能”的保护下，而受到监管，而另一些根本不符合“负责任的人工智能”标准？这些分界线是如何设置的？在人工智能的发展过程中不负责可以吗？如果是这样，什么时候？

诚然，有无数问题需要回答，实现可审计 AI 似乎令人生畏。但是已经有可以很容易采用的最佳实践框架和方法，提供关键的构建模块。如今，大多数组织都在将 AI 部署到一个充满风险的空白中，因此真正迫切需要实施可审计的 AI。人工智能的未来，以及我们所知道的商业世界，都取决于这种强大的技术以同样强大的方式进行管理和监控。

二、德国联邦信息安全局等十余个单位联合发布《迈向可审计人工智能系统：现状和未来方向》白皮书

0 执行总结

人工智能 (AI) 系统作为决策和控制系统的一部分在各种应用中发挥着越来越大的作用，其中包括移动、生物识别和医学等安全和安全关键应用领域。与传统 IT 技术相比，深度神经网络等 AI 技术的使用提供了新的机会，例如卓越的性能。同时，它们在 IT 安全性、鲁棒性和可信赖性等方面提出了新的挑战。为了应对这些挑战，需要一个普遍认可的人工智能系统审计框架。这应该包括评估策略、工具和标准，但这些要么正在开发中，要么尚未准备好投入实际使用。

本白皮书首先总结了 AI 系统的机遇和挑战，然后介绍了 AI 系统可审计性的最新技术，重点关注 AI 生命周期、在线学习和存在漂移、对抗，毒化攻击、后门的模型维护等，和针对这些攻击的防御、验证、安全关键型 AI 系统可审计，黑盒 AI 模型可解释和 AI 标准化。

尽管所有这些方面都取得了实质性进展，但一个首要的开放问题是（通常是多方面的）系统所需特性之间的权衡，例如一方面是鲁棒性、安全性和可审计性，另一方面是 AI 模型、ML 算法、数据和进一步边界条件的特征。这些权衡限制了当前 AI 系统的可扩展性和通用性。

为了最终以安全、可靠、稳健和可信赖的方式利用人工智能技术的机会，应结合两种策略：1. 考虑到上述权衡，应为给定任务选择有利的边界条件；2. 应通过对研发的大量投资来推进现有技术，以最终在复杂的边界条件下允许安全的人工智能系统，从而提高可扩展性和普遍性。第一步，应该关注选定的安全关键用例。应利用可用的标准、指南和工具，并进一步促进研究人员和行业之间的跨学科交流，以找到可用标准和工具的最佳组合，为每个特定用例实现可审计、安全和强大的人工智能系统。然后，在第二步中，应该使用来自这些用例的见解来概括结果并构建一个模块化工具箱，该工具箱随后可以应用于其他用例。在此基础上，首先应制定技术指南和随后的标准。在理想情况下，结果将是一套普遍适用的标准和工具，使人工智能系统具有足够的可审计性、安全性和可靠性。

1 人工智能系统：机遇与挑战

人工智能 (AI) 技术已经在许多应用中普遍存在，它正日益成为我们世界不可或缺的一部分，因为它是决策或控制系统无数应用的基础（图 1）。人工智能系统可能由多个子系统组成，每个子系统都可能使用不同的技术。技术可分为经典 IT (cIT)、符号 AI (sAI) 和连接主义 AI (cAI)。在这里，重点放在（深度）神经网络和机器学习（ML）形式的 cAI 系统上，因为 cAI 系统在质量上表现出新的漏洞，并且到目前为止，还不能通过 cIT 的可用工具进行充分审计。

图 1：人工智能系统已经成为各种应用中决策和控制系统的一部分，例如自动驾驶汽车、医疗保健和生物识别技术。Connectionist AI（cAI，例如神经网络）、符号 AI（sAI，例如决策树）和经典 IT (cIT) 模块通过传感器和执行器相互交互并与环境交互，从而导致整体系统行为。在这里，我们只关注单个 cAI 模块（粗体字）。

2 人工智能系统的可审计性：最先进的技术

在本节中，首先给出广义 cAI 生命周期的概述（图 2A），然后总结 cAI 系统可审计性的一些最重要方面的最新技术，即通过 ML 训练 AI 系统数据、攻击和防御、验证、确认、可解释性和标准化。

研讨会期间没有深入讨论其他方面，因此，仅就它们对 AI 安全的可能影响进行了简短总结：

1.足够的质量和数量的训练和测试数据适用于AI性能和鲁棒性，也适用于 AI 系统的安全性 [12]。

2.数据预处理（或特征选择）一方面可以被视为 AI 系统模块化的一步，由于每个 AI 模块的功能减少，可能会导致更好的可解释性，但另一方面，可以认为开辟了一个新的攻击目标（参见例如[13; 14]）。因此，根据具体情况，它可能有利于提高安全性，也可能无益。

3.正则化，例如通过误差函数对大权重进行惩罚，可能有助于防止过度拟合，并且可能在某些边界条件下直接导致更高的鲁棒性并间接提高安全性和保障性[15]。

2.1 生命周期

cAI 系统的复杂生命周期至少在很大程度上是其应用面临新挑战的原因，尤其是与 cIT 和 sAI 系统相比。因此，它将成为本白皮书的重点。在这里，它分为以下 5 个阶段（参见图 2A）：规划、数据、训练、评估和运营。在实践中，这些阶段不是按顺序排列的，而是开发人员以高度迭代和敏捷的方式使用这些阶段，例如在开发过程中经常使用评估。此外，运营阶段还包括模型维护的挑战，包括调整模型的必要性，以防已经使用的 cAI 系统出现新数据或要求。与生物神经网络类似，cAI 系统通常由大量简单但高度互连的处理元素（或神经元）组成，这些处理元素（或神经元）分层组织。最先进的 cAI 系统，例如深度神经网络（DNN，深度 = 多层）由数百万个处理元素和它们之间的突触（= 连接）组成。假设一个固定的神经架构，这意味着 cAI 系统通常有超过 1 亿个参数，即突触权重和单位偏差值，必须适当调整。因此，几乎在所有情况下都无法手动设置这些参数。相反，机器学习技术用于根据训练数据、误差函数和学习规则自动调整系统参数。与在训练期间学习的 cAI 模型内部参数相比，影响学习过程和模型架构的外部参数称为超参数，必须在训练之前固定并在验证集上进行调整。自动化训练管道设置和训练本身的方法称为自动机器学习或 AutoML [16]。虽然许多 cIT 和 sAI 模型（例如决策树或规则集）中的参数通常也由自动方法设置，但原则上，与大多数 cAI 模型相比，它们仍然可以直观地检查。

图 2：A) 连接主义 AI (cAI) 系统的广义生命周期示意图，强调了对 AI 系统进行彻底审计时必须考虑许多方面。在这里，生命周期是从 IT 安全角度来看的，包括漏洞（红色）、防御（蓝色）和解释（绿色 + “？”）。有监督的再训练或在线学习可以选择性地与运营并行，并在运营期间连续运行，从而导致评估应该何时以及多久进行一次评估的问题。评估、验证、确认和标准化应考虑整个生命周期。B) 一个 cAI 生命周期 (cAILC) 可以是例如嵌入到功能安全生命周期中（fSLC，参见例如 [17; 18]）。后者可能包含几个与安全相关的系统，例如还包括 sAI 和 cIT 系统（参见图 1），包括在开发阶段和最终退役阶段之前的广泛分析阶段。请注意，cAILC 和 fSLC 通常都是高度迭代的。

2.2 非平稳环境下的在线学习和模型维护

为了通过从数据中学习来解决问题，可以根据问题的复杂性和可用数据量使用不同的范式。例如，当有大量训练数据可用时，深度学习技术通常用于解决复杂问题，而统计学中的经典方法只能解决不太复杂的问题，但需要的数据更少。独立于范式，手头问题的环境可能不会随着时间的推移而保持不变。为了获得鲁棒的结果，必须考虑和解决此类环境变化。

2.3 攻防

人工智能在设计上并不安全，过去几年已经记录了无数欺骗人工智能系统的例子（概述参见 [33]）。在本白皮书中，我们重点关注 AI 系统在信息安全目标完整性方面的两个最重要漏洞，该漏洞致力于在整个 AI 生命周期中维护可信赖和一致的数据。在这种情况下，已经确定了对 cAI 系统的两个主要和质量上的新威胁：操作阶段的对抗性或逃避攻击（参见第 2.3.1 节）和训练阶段的后门中毒攻击（参见第 2.3.2 节）。这些攻击和可用的防御将在以下部分中详细讨论。

其他两个主要信息安全目标的机密性和可用性方面存在更多漏洞，但不在本白皮书的重点：机密性可能会通过探索性模型窃取 [34]、模型反转 [35] 和成员推断攻击 [36] 受到损害，其中用于训练的 AI 模型和数据可以从查询到可操作的 AI 系统进行重构（在“模型和数据窃取攻击”下总结在图 2 中）。这些攻击是在规避攻击的上下文中提到的（见下文）。可用性可能会受到 DoS 中毒攻击 [37]，与后门攻击相比，它的目标是最小化模型的性能。

2.3.1对抗性机器学习

在规避攻击中，攻击者计划通过对模型输入的细微修改来改变人工智能系统在其推理（或运行）阶段的决策。这些修改通常对人眼来说是不可疑的，也被称为对抗性示例 [38; 39]。因此，标准的 cAI 系统非常脆弱，模型训练数据不能很好地表示的输入特别容易受到错误分类的影响。众所周知的例子包括通过在交通标志上放置贴纸来攻击交通标志分类系统 [40]，通过向恶意软件 [41-43] 添加适当功能所不需要的代码来攻击恶意软件检测器，以及通过为人类配备特别印制的眼镜架 [44] 或帽子上的补丁 [45]。如果攻击者能够控制人工智能系统的决策，则该攻击称为有针对性的攻击，否则，如果攻击者只是以任意方式更改决策，则该攻击称为无目标攻击。

2.3.2 DNNs后门攻击

DNN 等 AI 模型需要大量数据进行训练和测试，才能获得良好的性能。出于这个原因，通常的做法是从多个来源收集数据而不执行高质量标准。事实上，从业者普遍认为，低质量的数据可能没有什么价值，但不会显着影响模型的性能。然而，大量研究结果表明，这种假设是不正确的。由于当前的 AI 模型本质上是纯相关提取器，因此数据集的问题会导致它们以意想不到的方式表现。

2.3.3 DNNs攻击的检测与防御

在最近，为了保护深度神经网络免受攻击[59]或检测此类攻击[60]，已经提出了大量的方法。然而，事实证明，检测对抗性攻击并可靠地防御它们是非常困难的，因为已经证明自适应攻击者可以绕过大多数提出的防御，与仅应用最强防御的系统相比，即使是并行应用的多个防御也可能并不总能增加对抗性的鲁棒性[61-63]。尽管如此，防御可以增加攻击者发起成功攻击的努力。此外，最近关于对抗性攻击的可验证检测的工作很有希望，因为它保证了对某些自适应攻击者的鲁棒性[64]。

2.4 人工智能系统的验证

人工智能系统的验证领域涉及在存在一系列输入扰动的情况下证明不存在意外的输出行为，这可能是由于自然变化或攻击者故意引起的。因此，验证可用于推理 AI 系统的安全性。然而，严格的证明面临着重大障碍。由于输入空间很大，要考虑的扰动数量可能是无限的，这使得蛮力方法不可行。此外，用于检查逻辑约束的标准求解器（例如 SMT，[72;73]）由于其非线性而不能很好地扩展到 DNN，尽管它们在某种程度上可能有用。

2.5 审计安全关键型人工智能系统

安全关键型人工智能系统是其决策受人工智能子系统影响的系统，其故障可能导致以下结果：人员死亡或严重伤害、设备或财产损失或严重损坏以及环境危害。例如，安全关键系统可以在航空、核能、汽车和铁路、医疗和自主系统领域找到。对于这些系统，有必要证明它们满足所需的要求，例如某些可预测的鲁棒性和可靠性，并且它们的保证通常依赖于基于标准的证明。不幸的是，对于基于 ML 的系统，这是一个严重的问题：缺乏针对此类新技术的经过验证的标准、政策和指导，例如诸如 IEC 61508 [17] 等安全规范性软件标准并不完全适用于 AI 系统。

与无法应用现有方法的其他系统一样，基于论证的方法（使用正式的结构化论证来证明某些特定声明的正当性）可用作 AI 系统保证的结构化方式 [78; 79]。基于论证的方法的主要优点是在如何证明安全声明方面具有相当大的灵活性。在确定未知领域的差距和挑战时，这种灵活的方法是必要的。其中一种方法是 CAE（声明、论证、证据）框架，它基于应用的自然语言演绎方法。CAE 框架由三个部分组成：

声明是为获得普遍接受而提出的声明（例如，关于系统安全/安全的声明）。
将证据与主张联系起来的论点。
作为索赔理由的证据。例如，证据的来源可以包括开发过程、先前的经验、测试和正式的方法。

2.6 解释黑盒 AI 模型

复杂的 AI 模型，例如深度神经网络 (DNN)，通过在大型数据集上进行训练来学习功能（参见第 2.1 节）。这些模型的内部工作原理以数学方式对学习的函数进行编码，通常不适合人类解释[85]。然而，出于多种原因，能够解释AI 模型的决策可能很重要。这些原因包括发现模型（以及实施它的硬件/软件平台）的错误、弱点和限制，这可能有助于提高其性能和对攻击的鲁棒性，以及满足透明度要求，例如由欧盟通用数据保护条例，并从科学和经济中的大型数据集中获得新的见解。因此，需要新的方法来解释复杂的人工智能模型，如神经网络。相应的研究领域称为 XAI（可解释 AI）[86; 87]。

2.7 全球人工智能标准化活动概况

标准是描述人工智能系统统一技术要求和支持法律框架实施的一种行之有效的方法。它们还促进了人工智能创新的市场准入，并为人工智能系统营销人员提供了一个用于人工智能系统开发和运营的清晰框架。例如，在德国，DIN 和 DKE 是主要的标准化机构，在 CEN、CENELEC 和 ETSI 等标准化组织中代表欧盟层面的国家利益，在 ISO、IEC 和 ITU 等组织中代表国际层面的国家利益。

关于本白皮书中讨论的测试和审计人工智能系统的主题，出现了哪些人工智能质量标准需要独立测试以及需要为此类测试程序本身开发哪些标准的问题。为了解决这种缺乏标准的问题，例如，在德国，以“Normungsroadmap KI”[99] 的形式提出了对人工智能领域现状以及对标准和规范的需求的综合分析。应该通过标准化解决的最重要的质量维度如图 3 所示。

图 3：将 AI 质量标准的类别分类到合规性测试中

表 1：本白皮书涵盖的选定主题的人工智能领域的新兴标准。有关更完整的概述，请参阅[99] 和 [117]。

预计未来一段时间内将通过更多类似的灯塔项目和试点，出现更多的技术测试程序，并解决相应的标准化需求。

3 未解决的问题和有希望的方法

至少对于与安全相关的 cAI 应用程序，需要实现足够水平的稳鲁棒、安全性和可审计性，并且需要制定相应的技术指南和标准。当回顾该领域的最新技术时（参见白皮书的前几节），很明显，一方面，许多悬而未决的问题仍然存在，但另一方面，存在许多有希望的方案和方法解决或减少这些问题的影响。此后，将根据对 cAI 生命周期的修改描述来总结未解决的问题和有希望的方法（参见图 4）：

图 4：cAI 生命周期（参见图 2），重点关注可审计性、IT 安全性背景下的开放性问题。

4 确定可审计人工智能系统的工作重点

迄今为止，还没有一套普遍适用的标准和工具可用于保护 AI 系统，从而可以通过严格的方式证明足够低的错误概率。本白皮书认为，存在两种通用策略来获得可审计、安全和安全的 AI 系统（参见图 5）：

图 5：在尝试达到可接受的 IT 安全性、审计质量、鲁棒性和可验证性水平时必须考虑的多方面权衡。可实现的水平取决于多个边界条件，例如任务复杂性和模型复杂性。对于给定的边界条件，通过研发的技术进步可能允许例如实现更高的 IT 安全级别和/或改进的可审计性，但到目前为止，这仅在有限的范围内起作用。

1.为给定任务创建有利的边界条件：对开发人员和用户进行适当的培训以及双方之间充分的信息交流，可以明确定义任务和可接受的边界条件。

2.投资研发以推进可用技术，最终在复杂的边界条件下实现安全可靠的人工智能系统，从而提高可扩展性和通用性。

应高度重视这两种策略，同时在第一步中，重点关注选定的安全关键用例。应利用可用的标准、指南和工具（参见本白皮书的其余部分），并应进一步促进研究人员和行业之间的跨学科交流 [124] 以找到可用标准和工具的最佳组合，以实现可审计、安全和针对特定用例的强大人工智能系统。必须根据它们在各自用例中的实际利益和可行性来评估这些标准和工具。然后，在第二步中，应该使用来自这些用例的见解来概括结果并构建一个模块化工具箱，该工具箱随后可以应用于其他用例。在此基础上，首先应制定技术指南和随后的标准。在理想情况下，结果将是一套普遍适用的标准和工具，使人工智能系统具有足够的可审计性、安全性和可靠性。

专知便捷查看