《信任还是毁灭：确保自主武器系统的可信性》

将自主武器系统（AWS）纳入军事行动既是重大机遇，也是严峻挑战。本文探讨了 AWS 信任的多面性，强调有必要建立可靠、透明的系统，以降低与偏见、操作失败和问责制相关的风险。尽管人工智能（AI）取得了进步，但这些系统的可信度，尤其是在高风险的军事应用中，仍然是一个关键问题。通过对现有文献的系统回顾，本研究确定了在 AWS 开发和部署阶段对信任动态的理解方面存在的差距。研究主张采用包括技术专家、伦理学家和军事战略家在内的合作方法来应对这些持续存在的挑战。研究结果强调了人机协作和提高系统智能性对确保问责制和遵守国际人道主义法的重要性。最终，本文旨在为当前关于 AWS 的伦理影响以及在国防背景下实现可信人工智能的必要性的讨论做出贡献。

自主武器系统（AWS）的挑战

本节重点介绍 AWS 开发和部署中的主要挑战，研究现代战争和国防战略中的潜在障碍，分为五组：

挑战 1--系统可靠性： 即使有强大的可靠性框架，由于子系统之间不可预测的相互作用以及在军事行动中可能面临的意外情况，AWS 的运行可靠性也无法得到完全保证[64]。值得注意的是，包括 AWS 使用的软件在内的大多数软件都可能不安全，这往往是由于规范中排除了安全要求。这种不安全性，再加上用于暴力破解攻击的硬件成本不断降低，使得密钥管理问题变得更加复杂。因此，不断验证和增强其可靠性变得至关重要，重点是安全方面，并应对这些挑战，以增强 AWS 的可信度。在军事行动中，AWS 可以利用战前分布的各类无线传感器。这些传感器与多智能体系统中的自主软件代理相连接，可以提供战场战术优势。然而，确保这些传感器之间通信的完整性至关重要。公钥基础设施可能是一种解决方案，但它也带来了自身的挑战，例如私钥的安全存储和密钥的安全空中传输。关于 AWS，信任是一个二元决定，取决于人们是将其视为仅仅具有可靠性和可预测性的工具，还是将其视为具有更高信任阈值的道德主体。解决在测试、验证和核实这些系统的可预测性和可靠性方面的重大技术挑战至关重要。人工智能能力有了显著提高，尤其是在目标识别方面，但在复杂环境中仍面临挑战。例如，深度学习模型擅长独立学习和适应，但可能会在偏离训练的任务中举步维艰，而且它们缺乏类似人类的语境理解能力。此外，人工智能系统还可能很 “脆弱”，在处理与其设计规格略有不同的任务时会很吃力。这些模型通常被视为 “黑盒”，很难理解它们的决策过程，这在要求决策透明的情况下是很成问题的。在部署 AWS 时，必须建立定义明确的问责机制，以防止出现以有组织的不负责任为特征的系统。此外，将《交战规则》和国际人道主义法等问责规则转化为软件的尝试大多因其复杂性而未获成功。迄今为止，尚无实用的方法来模拟分析军事行动相称性所涉及的定性评估。

挑战 2--训练和适应性： 另一个关键挑战是管理人类与 AWS 之间的信任平衡。确保人类行动者既不过分也不过分信任这些系统至关重要。尽管机器具有超强的适应能力，但人类往往会误判机器的能力，从而导致 “自动化偏见”。这种偏见有两种表现形式：人类可能会过度信任系统，即使系统做出的决定不公正也会接受；也可能会过度信任系统，不断监控或推翻系统的任务。

此外，虽然 AWS 具有减轻压力和认知超负荷的潜力，但其有效性受制于其收集和传达与任务相关的准确信息的能力。这主要是人工智能能力的现状造成的。目前，人工智能在识别物体，尤其是复杂环境中的物体方面还不如人类精通。此外，尽管在图像识别方面有可能取得进步，但人工智能仍表现出基本的 “脆性”。它们被训练来执行特定的、狭义的任务，在适应哪怕是稍有不同的任务时都会遇到困难。

挑战 3--战略脆弱性： 关键问题之一是先发制人的不稳定性概念，它是 AWS 开发和部署过程中出现的战略漏洞。这种不稳定性源于 AWS 的固有特性，如速度、精确度和限制人类风险的能力。这些特性可能会刺激先发制人的攻击，在不危及人员安全的情况下，以较低的成本提供快速、精确的攻击等战术优势。即使人工智能继续朝着降低脆性和增加透明度的方向发展，这种情况下，一方由于这些优势而被激励先发制人，这就构成了先发制人的不稳定性。AWS 的保密性可能会导致盟国之间的不确定性增加，从而使先发制人的不稳定性问题变得更加复杂。具体来说，各国可能不愿意分享其 AWS 能力的细节，这有可能给它们之间的关系造成压力。在实际操作层面，人们对人工智能系统准确区分合法与非法目标的能力存有疑虑。此外，任何错误识别的潜在后果都是巨大的，进一步加剧了当前问题的复杂性。AWS 的先发制人不稳定性带来了若干挑战。决策算法往往缺乏透明度，让决策者无所适从--这个问题被称为 “黑盒”挑战。此外，AWS 还面临与数据相关的问题，如数据获取、数据倾斜、滥用和隐私问题。同时，人工智能有可能延续现有的歧视性结构和偏见，这也是一个需要解决的重大问题。最后，人类在这些自主系统中的作用因环境而异；在军事系统中，法律或道德上可能需要人类的监督，而在交通领域，人类的参与可能不那么必要--特别是如果人为错误是造成操作事故的主要原因。在战略脆弱性方面，问责制和责任制是主要挑战。在使用 AWS 时，必须制定明确的规则和机制，以防止不负责任的行为。然而，将法律转化为软件的尝试已被证明具有挑战性，而且在复杂的军事场景中也不存在评估相称性的实用策略。

挑战 4--人机协作： 建立信任和理解是人机协作的关键挑战。AWS 是一个动态系统，会不断进化和适应，因此不可预测，需要人类深入了解其工作原理，以便能够充分信任它们。操作自主性与控制之间的平衡也是一个挑战。系统设计者必须在赋予机器人足够的自主性以发挥其作用，同时又保持适当的人类控制之间取得平衡。找到适当的平衡是关键：人类必须对自主系统有适当程度的信任，但又不能过于信任。其次，还有训练和适应性。学习型 AWS 真正以有效方式适应环境的程度，与人类团队成员能够有效识别和使用其数据的程度成反比。随着自主系统的改进，其适应能力可能会降低其与人类合作时的实用性，因为人类很难理解和利用其增强的能力。最后，沟通和协调对于人机合作至关重要。决策者认为自主系统不是一种固定的控制状态，而是人类与计算机之间分层协作的过程。另一方面，国防科学委员会对自主性的观点也很独特，它将自主性定义为人类和计算机之间为实现某些能力而有意分配认知任务和责任。这种作战动态方法承认，在任何特定时间，预警机都可能对不同任务的不同方面拥有不同程度的控制权。

挑战 5--把握道德、法律和社会层面： 推动在 AWS 中纳入伦理原则，凸显了为某种情况选择最合适的伦理标准这一尚未解决的任务。各种伦理理论已被用于解决道德困境。然而，目前伦理专家们在选择适用的伦理理论方面尚未达成共识。在部署 AWS 以防止系统性不负责任时，建立强有力的问责机制至关重要。人工智能放大歧视性结构的风险是一个重大问题，因此有必要采取积极主动的措施来消除潜在的偏见。此外，AWS 的社会影响和公众看法也是一个重大挑战。核心问题包括人工智能强化现有歧视性结构的潜力，以及自主系统的民主问责制，特别是当这些系统做出影响公共权利或公共利益分配的决定时。

因此，透明度和可解释性也是重大挑战。一个首要问题是自主系统在决策方面的透明度，这通常被称为 “黑盒”挑战。与人脑不断学习并以先前获得的知识为基础不同，算法通常只在一个数据集上训练一次。这种方法限制了算法在不重新训练的情况下学习新信息的能力，在动态和复杂的环境中，持续学习至关重要，这给算法带来了挑战。

最后，在军事环境中使用自主系统会带来与人权和战争原则相关的伦理困境。人类挑战这些机器的成文道德规范的能力可能会降低，从而导致道德真空，现有的法律、道德准则和社会规范可能无法满足需要。从更实际的角度来看，人们对人工智能驱动的功能能否准确区分合法与非法目标存有疑虑。

自主武器系统（AWS）的机遇

展望未来，本节将探讨 AWS 的开发和部署可为现代战争和防御战略带来的机遇。AWS 的好处和优势分为五个关键领域：

机遇 1 - 能力：

• 提高能力： AWS 极大地推动了军事技术的发展，在应对现代战争中的关键挑战的同时，提供了更强的进攻和防御能力。这些系统可以在复杂多变的环境中航行，这对现代战术作战行动至关重要。AWS 的最大优势之一是其通过提高目标定位精度来减少人员伤亡的潜力。先进的图像处理和物体探测能力往往超过人类的能力，使 AWS 能够更准确地区分合法的军事目标和非战斗人员。这项技术通过面部识别以及对物体和行为的复杂分析，有助于积极识别目标，从而发现潜在威胁，如简易爆炸装置或自杀式炸弹袭击者。自主系统的这些进步表明，未来的战争可能会更加精确、更加合乎道德，而且对人类生命造成的损失也会更小。
• 增强决策能力： AWS 可增强决策能力，提高作战效率。这些系统可以比人类操作员更快地处理和综合来自多个来源的大量数据，从而更快、更准确地应对威胁。这种速度优势在高风险环境中至关重要，因为快速反应可决定交战的结果[24]。此外，AWS 还能大大加快 “观察-定向-决策-行动 ”的决策循环，从而更高效地执行任务。通过高速运行，AWS 在协调复杂的军事演习方面可以胜过人类指挥官。此外，这些系统还能长时间保持较高的准确性和有效性，因为它们不会受到疲劳或认知能力限制的影响。AWS 的自主运行也减轻了人类操作员的认知负荷，使他们能够专注于更高级别的任务，并有可能减少军事劳动力的总体规模。虽然 AWS 带来了新的挑战，但其目的是使以前的困难任务变得更易于管理，最终平衡对人类操作员的认知要求。
• 安全高效的资源分配： 部署 AWS 在资源分配、规划和操作安全方面具有诸多优势。随着时间的推移，AWS 可以大大节约成本，因为机器不需要人类士兵所需的后勤支持，如食物、医疗和休假，而且可以在不付出相关人力成本的情况下执行高风险任务。通过人工智能分散指挥和控制（C2）可提高行动效率，使无人实体能够执行更有效的防御战略。网络化的 AWS 平台能实现卓越的规划和协调，因为它们能比人类更有效地同步开火和机动。在极少人为监督的情况下进行操作的能力使 AWS 能够在复杂的网络中发挥作用，执行协调攻击或充当移动式自修复雷区。轻量级加密和认证协议有可能保护敏感数据，并保持无人机（UAV）与地面控制系统之间的通信完整性。此外，远程操作能力（如使用无人飞行器进行侦察和武装攻击）使操作人员能够在安全距离外执行任务，大大降低了士兵面临的风险，提高了整体安全性。
• 增强 ISR（情报、监视和侦察）任务： AWS，特别是无人机，能够在不危及人类生命的情况下实现卓越的监测和情报收集。二十多年来，无人机在军事监视和间谍活动中的有效性已得到证实，可为军事人员提供实时数据。AWS 采用基于传感器的情报收集方式，具有多种优势，包括更易于部署、伪装能力强以及通过冗余提高可靠性。这些传感器体积小巧，可在各种环境中广泛部署和隐蔽，为交战前侦察任务提供战略优势。此外，自主系统还能探测敌人、进行监视，并有可能在需要致命武力的情况下携带武器，从而大大增强军事行动能力。

机遇 2--训练和认识： 技术和企业专家参与 AWS 的设计、开发、部署和管理，推动了 AWS 的发展，确保了尖端技术的融入，并为军事行动提供了竞争优势。虽然完全自主的武器系统尚未公开部署，但军事人员正在通过成本效益高的模拟训练演习、讲习班和桌面演习，为其最终实施做好准备。正如澳大利亚国防军目前的做法所体现的那样，这些准备措施对于在作战部署之前建立对 AWS 的熟悉和鼓励对 AWS 的实验至关重要。基础和应用科学家之间的合作研究正在加强对自主系统中以人为本方面的理解，从而改进 AWS 的设计和实施。此外，通过研究软件对军事航空和遥控飞机系统事故的影响所获得的见解，正被用于提高 AWS 的安全性和有效性，为制定更严格的安全测试、认证和监管流程提供信息。

机遇 3 - 战略和军事优势： 对于技术先进的国家来说，AWS 的发展和与军事行动的整合具有重大的战略优势，特别是在提高精确度、速度和效率方面。这种对机器自主性的关注是由通过人机协作提高作战效率的潜力所驱动的。将 AWS 集成到 C2 系统中，有望增强决策过程，为指挥官提供数据驱动的洞察力和更广泛的战术选择。公众对 AWS 的看法似乎是可塑的，当有信息强调 AWS 具有挽救士兵生命和减少失误的潜力时，支持率就会提高。AWS 通过在不适合人类士兵的高威胁环境中工作，显示出更高的作战效率和风险缓解能力，从而在提高作战能力的同时降低人命风险。这些系统可发挥战斗力倍增器的作用，执行原本需要多名人类士兵才能完成的任务，从而提高作战效率。欧洲武器制造商通过设计选择和实践，塑造了在特定武力使用情况下进行适当人类控制的隐性规则，为 AWS 的累积改进做出了贡献。

机遇 4--人机协作： AWS 的集成强调了人机团队合作的极端重要性，人与机器之间的信任对于行动的成功至关重要。人类与自主系统之间的有效协作对于确保作战环境中的可靠性和性能至关重要。随着军事战略的发展，半自主设备与致命性自主武器系统之间的界限凸显出对这种协同作用的依赖性越来越强，这表明未来的作战行动将在很大程度上依赖于有效的人机互动。各部队的现代化计划，如意大利陆军对自主性的重视和英国对无人机群的投资，反映了增强自主性的大趋势，有可能带来更有效、更高效的防御战略。此外，随着 AWS 能力的扩大，改善决策和战略灵活性的潜力也变得显而易见，使指挥官能够获得更广泛的战术选择和见解。

机遇 5--把握道德、法律和社会层面： 围绕 AWS 的伦理、社会和法律考虑是多方面的，对其部署至关重要。其中一个主要的伦理问题是，通过承担致命决定的责任，可以减轻士兵的道德伤害，从而减轻与战斗行动相关的心理负担和负罪感。这种 “道德卸载 ”概念提出了有关道德责任委托的复杂问题，因为它将杀人的道德影响从士兵转移到了机器。为确保负责任地使用 AWS，这些系统的开发和部署必须以不断发展的标准和法规为指导。国际标准化组织（ISO）、国际电工委员会（IEC）和电气和电子工程师学会（IEEE）等国际组织正在积极制定技术标准，以解决算法偏差和可信度等关键问题，这对于在军事背景下接受 AWS 至关重要。建立专业的军事道德规范也至关重要，因为它涉及到设计价值和法律责任等基本问题，尤其是在高风险环境中。此外，引入 AWS 需要对现有法律框架进行重新评估，以适应自主系统带来的独特挑战。这种重新评估为军事法律和伦理的创新提供了机会，正如美国国防部的 “国防创新倡议”（Defence Innovation Initiative）等举措所体现的那样。它们影响国际规范和法规的潜力巨大；它们可能会改变国际法核心条款的解释方式，或与现有法律标准并行运作。公众和基于实践的审议在形成围绕 AWS 的新兴规范和实践方面发挥着至关重要的作用，确保这些规范和实践立足于现实世界的应用和公众的期望。这种互动促进了自主系统使用中的透明度和问责制，使人们更好地理解什么是 “有意义的 ”人类控制。因此，AWS 的伦理意义延伸到其运行可靠性和安全性，因为它们可以通过识别和减少软件缺陷来加强军事行动，从而在遵守伦理标准的同时提高任务的整体成功率。