《面向定义跨域的领域复杂性度量》 DARPA 和美陆军

在现实世界应用中部署的人工智能（AI）系统通常是在封闭的模拟环境中进行研究和开发的，在这种环境中，所有变量都是可控的，模拟器或基准数据集都是已知的。从这些模拟器、测试平台和基准数据集过渡到更加开放的领域，给人工智能系统带来了巨大的挑战，包括领域复杂性的显著增加和现实世界中新奇事物的加入；开放世界环境中包含了大量人工智能系统训练集中没有的分布外元素。在此，提出了一条通往通用的、与领域无关的领域复杂性水平测量方法的道路。我们将领域复杂性分为两个方面：内在和外在。领域内在复杂性是指在没有任何人工智能体在该领域执行任务的情况下自身存在的复杂性。这是领域复杂性中与智能体无关的一个方面。域外复杂性则与智能体和任务相关。内在和外在要素结合在一起，就构成了领域的整体复杂性。我们从与领域无关的角度来确定定义和影响领域复杂性水平的要素。

当人工智能系统从一个测试平台或环境过渡到另一个测试平台或环境时，当人工智能系统在开放世界任务中面对分布外数据时，当人工智能系统在开放世界领域中浏览快速扩展的解决方案和搜索空间时，与领域无关的复杂性度量方法可以对人工智能系统面临的困难进行量化预测。

图 3：状态转换图的一个简单示例。图中的节点表示可能出现的状态，连接节点的边表示状态之间的转换动作。在本例中，状态定义由五个布尔特征组成。在初始状态下，所有特征都设置为 false（白色）。操作通过将所选特征翻转为真（橙色）来影响状态，并且在每个状态下只有某些操作是可能的。其中一种状态被突出显示为当前任务的目标状态。可能的状态相对较少，每个状态下最多有两种可能的操作，图中有多条交叉路径通向目标状态。该领域和任务的复杂度较低。

本研究由 DARPA 和美陆军研究办公室 (ARO) 根据多项合同/协议赞助，包括 W911NF2020010、W911NF2020003 和 W911NF-20-2-0004。