《国防中的可信自主系统：政策概况审查》32页报告，南安普顿大学、诺丁汉大学和伦敦国王学院

本评论讨论了英国及其盟国在为国防建设可信赖的自主系统方面所面临的一些挑战。它是TAS政策前景审查系列的一部分，调查了围绕设计可信赖的自主系统所出现的问题。这次审查的重点是在国防背景下对新型自主系统的信任，以及与此相关的政策问题。

自主性是什么意思？

• 谈到国防系统的自主性，这是一个程度问题，而不是一个简单的是或不是的案例。因此，谈论具有自主能力的系统（SACs）更为合适。自主性引起了许多实际问题，如SACs的可信度以及人机合作中人的参与程度和质量。

• SAC的自主性是一个复杂的问题，由（至少）三个变量驱动：1）人类操作员和机器之间的指挥和控制关系的特点和质量；2）完全或部分委托给SAC的决策类型；以及3）SAC的复杂性、成熟度和可靠性。因此，自主权最好被理解为一个包含所有这些因素的总括性术语。

法律和道德方面的挑战

• 目前，英国和北大西洋公约组织（NATO）不认为SACs需要对国际法进行修订或制定新的条约。虽然道德和法律规范可能会随着时间的推移而变化，但目前英国政府认为，如果SAC的设计符合国际人道主义法律，那么它们的发展和部署就完全在现有法律的范围内。

• 虽然大多数对SACs的伦理反思提请注意将决策权下放给机器可能带来的麻烦，但一些评论家认为SACs将更加精确并受预先定义的规则约束，因此在伦理上是可取的。

• 虽然国防部（MOD）指出了SACs的效率提升，以及它们如何可能使服务人员免受伤害，但它们确实给政策制定者带来了一些新的挑战。这些挑战包括（算法）问责制的问题和对责任侵蚀的担忧。部署特别行动小组需要强有力的行为准则和健全、透明的决策过程。

公众意见

• 民意研究表明，在英国和美国，公众对使用致命的SACs有很大的反对意见。然而，如果SACs的部署是有背景的，而不是以生死或人类的圈外决定为框架，那么公众对SACs的反对就会大幅下降。鉴于自主系统在其他领域的扩散，如医疗保健和自主车辆，一些评论家发现公众对自主性的接受程度总体上有所提高，这可能会蔓延到SACs领域。然而，经验性的情况是混合的，而且可能仍然是不稳定的。

人机合作

• 武装部队对SAC的信任目前还没有得到充分发展。缩小军队中的信任差距需要持续的长期参与。对这一领域的经验情况的研究严重不足，这限制了证据基础。

• 人机协作对军事人员的教育、招募和持续培训提出了新的要求。未来SAC的人类操作员将需要广泛的培训。政策制定者应从战略上考虑招聘问题，以及武装部队如何在强大的私营部门竞争中吸引和保留人才。

创新

• 在很大程度上，新的SAC技术将与新的工业伙伴合作开发，这些伙伴可能之前没有与国防部合作的历史。合作可能会继续模糊公共和私人资助的研究之间的界限。2021年国防和安全工业战略（DSIS）寻求将政府的研发和创新支出与私营部门的活动更好地结合起来。

• 在许多情况下，SACs包含了双重目的技术。这引起了关于发明扩散、知识产权和外国产业参与的问题，其中一些问题在2020年国家安全和投资法案（NSIB）中得到解决。