《调整美国防部机器学习（深度学习）系统的测试与评估、验证 (TEVV) 业务》36页报告

在一个跨国威胁不断增加、全球相互依存度空前提高、大国竞争重新抬头的时代，美国正处于一个拐点。这是在技术革命的背景下发生的，技术革命加剧了面临的挑战，同时也提供了潜在的解决方案，在气候、医药、通信、运输、智能和许多其他领域提供了突破。其中许多突破将通过利用人工智能（AI）及其相关技术--其中主要是机器学习（ML）。这些进步可能会塑造国家之间的经济和军事力量平衡，以及国家内部的工作、财富和不平等的未来。

ML的创新有可能从根本上改变美国军队的战斗方式，以及美国防部的运作方式。机器学习的应用可以提高人类在战场上的决策速度和质量，使人机合作的性能最大化，并将士兵的风险降到最低，并极大地提高依赖非常大的数据集的分析的准确性和速度。ML还可以加强美国以机器速度防御网络攻击的能力，并有能力将劳动密集型企业功能的关键部分自动化，如预测性维护和人员管理。

然而，人工智能和机器学习的进步并不只是美国的专利。事实上，面对中国在该领域的挑战，美国在人工智能领域的全球领导地位仍然受到怀疑。美国防部和学术界的许多报告反映了需要在人工智能研究和开发方面进行更多投资，培训和招聘一支熟练的劳动力，并促进支持美国人工智能创新的国际环境--同时促进安全、安保、隐私和道德的发展和使用。然而，人们对信任问题，特别是对这些系统的测试、评估、验证和确认（TEVV）的关注太少。建立一个强大的测试和评估生态系统是负责任地、可靠地和紧急地利用这一技术的一个关键组成部分。如果不这样做，就意味着落后。

本报告将首先强调为人工智能系统调整美国防部现有的TEVV生态系统的技术和组织障碍，特别强调ML及其相关的深度学习（DL）技术，我们预测这对未来的威慑和作战至关重要，同时在可解释性、可治理性、可追溯性和信任方面带来独特的挑战。其次，本报告将向国防部领导层提供具体的、可操作的建议，与情报界、国务院、国会、工业界和学术界合作，通过改革流程、政策和组织结构，同时投资于研究、基础设施和人员，推进ML/DL的TEV系统。这些建议是基于作者几十年来在美国政府从事国家安全工作的经验，以及对从事ML/DL和测试与评估的政府、工业和学术界专家的数十次访谈。