美国国防部（DOD）对充分利用机器学习（ML）算法的优化能力和建立人工智能（AI）支持的系统越来越感兴趣，这些系统可以加快决策的及时性和准确性，以支持国防部任务。随着计算资源可用性的提高，现在可以将ML算法应用于有数千个参数的模型，以及处理TB 和 PB 数据。

ML库和现成解决方案的可用性有时给人的印象是，实施人工智能软件系统（AI系统）很容易。然而，开发可行的、可信赖的人工智能系统，并将其部署到现场，并能在数十年内进行扩展和发展，需要大量的规划和持续的资源投入。以下是我们**在软件工程、网络安全和应用人工智能方面的工作所得出的做法，是面向决策主体的人工智能工程建议。对于美国国防部的任务，来自采购和军事行动的角度带来了额外的考虑，将在未来的报告中讨论这些问题。

软件工程原则适用于人工智能工程

在提出以下建议的同时，请记住，人工智能系统是一个软件密集型系统。设计和部署高质量软件系统的既定原则适用于人工智能系统工程。团队应该遵循现代软件和系统工程实践，以及国防创新委员会的软件十诫等准则。团队应该努力按时和高质量地交付功能，设计出具有架构意义的要求（如安全性、可用性、可靠性、性能和可扩展性），并计划在整个生命周期内维持系统。然而，传统软件系统中的一些问题在人工智能系统中被夸大了，特别是包括ML组件的系统:

工程团队将需要针对其组件、数据、模型和输出中固有的不确定性来设计人工智能系统。
工程团队将需要适应管理不同的变化节奏。人工智能系统的变化速度在整个系统中是不一致的。数据和模型可能会非常频繁地变化，这可能意味着也可能不意味着对系统其他部分的变化。
管理数据将需要更多的资源，无论是在前期还是在系统的整个生命周期。
核实、验证和保护人工智能系统将需要考虑到模糊性，以及由于频繁变化的数据和模型的基本性质而增加的攻击面。

11项基础实践准则

1.确保你有一个可以且应该由人工智能解决的问题。从一个定义明确的问题开始，了解你想完成的任务和你需要的结果，同时确保你有可用的数据来推断这些结果。一旦你知道你有一个潜在的人工智能问题，请验证其他更简单的选项--可能是更好的解决方案--不存在。人工智能不是万能的，对于其他解决方案可能已经存在的问题，人工智能往往是一个更复杂、更低效的解决方案。

2.你的软件工程团队中包括高度整合的主题专家、数据科学家和数据架构师。有效的人工智能工程团队由问题领域（主题专家）、数据工程、模型选择和细化、硬件基础设施和软件架构方面的专家组成，此外还有其他典型的软件工程专业知识。这些团队成员带来了算法选择、模型构建、模型定制和数据管道管理方面的必要技能，这些技能构成了人工智能系统的核心。包括那些能够处理好设计好的工具的稀缺性和这些系统在性能、可扩展性、带宽、资源管理和版本方面的高要求的团队成员。

3.认真对待你的数据，防止它毁坏你的项目。数据摄取、清理、保护、监测和验证是成功的人工智能系统工程所必需的，它们需要大量的资源、时间和注意力。确保你的过程考虑到：

环境中的变化
可能的偏见
在整个系统的生命周期中，有可能被敌方利用

人工智能系统的输出与用于训练系统的数据以及训练数据与问题和当前世界的关联程度有着内在的联系。数据可能会出很多问题，从格式的改变会破坏摄取功能，到恶意将数据注入训练集，导致不正确的模型或数据泄漏，到数据缺乏多样性或感兴趣的类别的足够例子。这些挑战需要一个全面的数据管理策略和监督功能。自动化是管理数据的关键，但团队应该平衡自动化与可观察性和可访问性。

4.根据你需要模型做什么来选择算法，而不是根据它们的受欢迎程度。算法在几个重要的维度上有所不同：它们能解决什么样的问题，输出的信息有多详细，输出和模型的可解释性如何，以及算法对对手（通过操纵训练数据、干扰反馈回路等）的鲁棒性如何。选择一种适合你的问题并能满足你的业务和工程需要的算法。随着系统需求的发展和工作环境的变化，算法也可能随之改变。

5.通过应用高度集成的监测和缓解策略来保护人工智能系统。由于在理解其复杂模型的功能和对数据的依赖方面存在挑战，人工智能系统的攻击面被扩大。这些额外的攻击面维度使传统的硬件和软件攻击面的脆弱性更加复杂。通过进行持续的评估和验证来应对这种情况--鉴于当今攻击和防御的快速发展，这些活动尤为重要。

6.定义检查点，以考虑到恢复、可追溯性和决策理由的潜在需求。人工智能系统对输入数据、训练数据和模型之间的依赖关系非常敏感。因此，任何一个的版本或特征的变化都会迅速地--有时是微妙地--影响其他的。在模型周期性变化的系统中，根据使用的时间框架对模型进行改版就足够了。在模型经常或持续变化的系统中，仔细考虑何时和如何将输入数据与用于评估的模型相关联，以及如何捕获和保留该信息。小心地管理这些依赖关系和版本。

7.结合用户体验和互动，不断验证和发展模型和架构。尽可能使用自动化方法来捕捉人类对系统输出的反馈，并改进（即重新训练）模型。监测用户体验，以尽早发现问题，如系统延迟或准确性降低等形式的性能下降。即使在低互动的系统中，也要确保人类的持续参与，以监测计算机无法编码评估的判断（实际的、伦理的、道德的、信任的、与风险有关的）--以及模型篡改或系统滥用的迹象。一定要考虑到用户和管理自动化的偏差。

8.设计对输出中固有模糊性的解释。人工智能输出需要比其他大多数系统更多的解释。在某些情况下，人工智能系统所带来的不确定性可能是任务和用户所不能接受的。纳入机器学习组件也需要对输出的不确定性和可靠性程度进行设计，以帮助解释和保证输出。一些人工智能系统组件可能需要连续监测和仪表等技术。

9.实施松散耦合的解决方案，可以扩展或替换，以适应不可避免的数据和模型变化以及算法创新。由于数据的纠缠，人工智能系统各组成部分之间的界限比传统系统中的界限恶化得更快。此外，由于未预料到的直接和间接的数据依赖性，变化的影响加剧。这些依赖性可能会引发功能、预期产出，甚至是支持系统的基础设施的变化。在设计和维持人工智能系统时，要不断运用工程的基本设计原则来开发松散耦合、可扩展、可升级和安全的系统。

10.投入足够的时间和专业知识，以便在系统的生命周期内进行持续和持久的变革。团队十有八九明显低估了所需的资源。构建人工智能系统最初需要更多的资源，需要迅速扩大规模，并在系统的生命周期中投入大量的精力或资源。这些资源包括计算、硬件、存储、带宽、专业知识和时间。

11.将道德规范作为软件设计的考虑因素和政策关注点。评估系统的每个方面的潜在道德问题。在系统的所有方面，从数据收集到决策，再到性能和有效性的验证和监测，都要考虑到组织和社会价值。数据收集往往会引起隐私问题，在某些情况下还会触及其他伦理问题，但数据收集并不是唯一需要关注的领域。系统如何使用（例如，自主军用无人机）、数据表现（例如，面部识别中的种族、性别、残疾多样性）和模型结构（包括信贷或就业决策中的受保护特征）也可能是伦理问题。

最后的思考

唯一不变的是变化。设计、部署和维持人工智能系统需要工程实践来管理固有的不确定性，以及不断增加的变化节奏。人工智能系统的算法、实践和工具在不断发展，这些系统带来的变化跨越了问题、技术、流程、工程和文化的界限。这些人工智能工程实践为决策者提供了一个基础，以驾驭这些变化，开发可行的、可信赖的和可扩展的系统。随着我们建立和使用这些系统，我们将定义更好的编纂工程和数据管理实践以及工具。