近年来,美国国防部(DoD)、学术界及其他政策制定者已广泛关注人工智能(AI)在战争中的应用问题。此类关切常引发关于在战场部署AI驱动技术时需建立或强化"适当人类判断"的呼吁。尽管相关术语仍显模糊,但近期政府指导文件(如国防部第3000.09号指令)日益强调人类判断在军事AI整合中的重要性。然而,现有监管框架或未能充分应对一项关键风险:即便存在人类监督,AI系统仍可能触发快速、失控的升级态势。

特朗普政府《消除美国AI领导力障碍》行政令为解决AI赋能战争的升级风险提供契机。此类风险源于两个相互关联的动因:其一,AI系统间的交互可能引发人类无法预测或控制的快速意外升级,导致有效人类监督失效;其二,时间压力下的AI-人类互动可能促使指挥官日益依赖机器判断,实质将关键决策权让渡于AI系统。现有的人类监督模式未能化解这些升级风险。若缺乏有效机制阻止冲突各方由AI驱动的升级进程,决策回路中的人类介入仅能延缓而非阻止战场态势升级。某些情况下,人类干预甚至可能因在已然动荡的AI交互中注入额外复杂性与不确定性,反而加剧升级风险。

2010年"闪崩"事件的警示

华尔街为AI驱动军事升级风险提供了极具参照价值的类比。2010年5月6日,道琼斯工业平均指数在五分钟内暴跌超9%。这场因算法意外行为加剧的"闪崩"事件造成约1万亿美元市场损失,揭示了自动化系统如何引发快速失控的升级过程。该事件与军事风险存在惊人相似性:正如相互作用的交易算法导致市场崩溃,军事人工智能系统的交互可能引发不可控的冲突升级。随着各国军队部署Palantir Gotham等先进AI决策支持系统,此类风险愈发紧迫。在美国加速AI发展的政策转向背景下,军事领导者必须借鉴金融监管机构对闪崩的应对经验,实施强力保障机制防止AI系统意外引发冲突升级。

2010年闪崩后,股票市场实施了针对个股的"熔断机制"——在极端波动期间暂停交易以恢复市场稳定的制度。这项监管创新为军事AI系统提供了可行路径:当检测到危险升级迹象时,自动触发限制AI驱动作战行动的保障机制。正如熔断机制通过强制暂停交易防止市场连锁崩盘,战场版熔断机制可在冲突强度超过预设阈值时自动限制AI系统作战范围,防止失控升级。这类机制将为军事指挥官争取评估局势的时间,避免小规模交火演变为全面冲突。

尽管闪崩最初归咎于人为失误,但美国证交会与商品期货交易委员会调查揭示高频交易算法(HFT)才是主要推手。事件始于标普500电子迷你期货合约的巨额抛售,触发高频算法间的连锁反应——机器快速来回交易加剧市场崩跌。技术故障与去中心化交易等市场结构问题也放大了危机。虽然确切原因仍存争议,但该事件证明多重复杂交互(多AI系统间、AI与人类交易员间、人类决策者间)可导致局势急速升级。金融市场这种升级模式与AI赋能军事系统的风险异曲同工:看似理性的个体反应叠加可能引发灾难性系统效应。

人工智能决策与升级风险

当人工智能系统彼此互动或与人类交互时,其行为可能偏离预期,形成使人类监管复杂化的涌现性动态。2010年闪崩事件中,高频交易算法在未预见的极端案例中快速交易贬值证券——这种无约束的算法响应源于其内在的对抗性设计逻辑:既试图利用市场低效又激进规避损失,从而放大波动性。更值得警惕的是,人类干预未能阻止崩盘反而加剧危机:投资者抛售持仓加速螺旋下跌。值得注意的是,这发生在监管严密的金融市场,理论上AI行为应更易预测。若闪崩能在如此受控环境中爆发,瞬息万变的现代战场上"瞬时战争"的爆发速度将更为惊人。

人工智能互动的速度与不可预测性在战争中的风险更为严峻。不同于在结构化约束下运行的金融交易算法,军事AI系统将在非结构化高压环境中对抗敌方系统。这些系统可在毫秒级处理信息并实施战术调整,远超人类反应速度。当多个AI驱动决策系统(AI-DDS)交互时,快速递归决策可能触发不可预测的冲突动态,导致无意识升级风险激增。这种挑战凸显出建立AI安全机制的必要性——确保军事指挥官保持有效控制,防止自动化连锁反应引发失控升级。

尽管现行国防部政策要求人类对AI行为实施裁决权,但未来战斗场景可能不容许充分审议时间。在动态作战态势中,指挥官或更倾向依赖AI提供的目标选定与武器配置建议。尽管人类仍保留对AI建议目标的批准权,但这往往意味着对机器决策的高度信任。这种对人工智能的遵从不仅可能出现在激烈交战中——即使感知到对手的领土侵犯意图,也可能促使人类信任AI判断。

人工智能决策还是AI指令?

时效性军事决策的复杂性凸显了失控升级的风险。试想某AI系统向防御方预警俄罗斯坦克穿越苏瓦乌基走廊。此时系统将发出攻击警报并提出若干防御选项。由于响应时间仅数分钟,军事指挥官须在冲突升级风险与接敌必要性间权衡。鉴于预警期极短,核实敌情或参考应急预案均不可行。因此指挥官可能完全依赖AI判断。时间压力或迫使指挥官优先快速响应而非深入分析,使人类判断沦为流程性步骤。

速度在交易与战争中均构成关键战术优势。历史上,军队通过静态流程图式作战计划维持行动速度,但此类计划频繁过时且更新成本高昂,凸显AI赋能决策的吸引力——可动态整合敌方行动至实时军事决策流程。AI工具比人类参谋更快更全面地处理数据,整合人类难以即时察觉的细微线索与模式,形成全面战略。与传统计划不同,AI决策具备适应性,可有效应对动态威胁。正如算法革新交易,AI工具将助力军事指挥官创新并挫败敌方战术。

何种因素可能促使军事AI系统升级冲突?核心驱动或在于此类系统的根本目标:最大化获胜概率。在战略决策中,某些孤立看似合理的行动可能导致更糟的长期后果。单次囚徒困境中,背叛具有工具理性(确保个体最优结果),但当双方均背叛时整体结果恶化;金融市场上个体抛售在下跌中看似理性,但集体行为加剧波动加速崩盘。以战场胜利为优先的AI系统可能视升级为最佳即时策略。然而,正如背叛瓦解合作、恐慌抛售恶化危机,专注短期军事胜利的AI或能赢得战斗却引发意外全面冲突——瞬时战争。

战场熔断机制

为应对"黑色星期一"的大规模抛售,纽约证券交易所(NYSE)实施了熔断机制——当标普500等主要指数价格剧烈波动时暂停所有交易。2010年闪崩事件暴露了全市场熔断机制的局限性,促使实施个股熔断机制以更精细应对系统性风险。然而将此类方案移植至战场环境面临挑战:熔断机制本质依赖中央控制(由NYSE而非个体交易员触发),而作战环境缺乏中央控制,传统熔断机制在冲突升级管理中既不现实亦无效。

熔断模型为控制AI驱动升级提供关键框架,但战场应用需通过可量化参数衡量冲突升级。参战人员数量增长、战线扩展、武器类型多样化等要素均可纳入"升级指标"构建。国际军控条约可基于该指标,强制要求所有AI系统集成熔断机制。禁止化学武器组织等成功先例已为此类国际合作奠定基础。当战场升级速度超出阈值,该机制将激活于所有自主武器系统与AI驱动决策系统(AI-DDS),暂时中止或缩减进攻行动以防止失控升级,但关键情报监视目标获取与侦察(ISTAR)资产仍保持运行,确保指挥官在暂停期间维持态势感知并作出知情决策。

此类机制的潜在风险在于:若侵略方以不触发熔断机制的方式实现军事目标,可能形成单边优势。为缓解此问题,升级指标设计需考虑隐蔽侵略形式,框架应包含允许防御方实施相称反击而不致升级的机制。即便此方案可能导致防御方承受短期战术失利,但其核心价值在于确保小规模冲突不会迅速演变为全面战争。

战场熔断机制:防患于未然

缺乏国际监管体系为美国军事领导力在管控升级风险方面创造机遇。五角大楼首席数字与人工智能办公室(Chief Digital and Artificial Intelligence Office)作为AI部署与政策制定领域的领跑者,可开发并分析模拟升级场景的模型。此类仿真能为测试降级机制(含熔断机制实施)提供实证基础,从而为符合美国战略利益的循证政策制定提供依据。

美国金融市场证明有效监管通过预防灾难性错误与构建信任巩固主导地位。闪崩事件后,熔断机制与其他管控措施向投资者确保算法交易不会演变为市场破坏行为,从而强化了美国全球金融领导地位。军事AI领域同理:指挥官只有在确信先进系统不会引发灾难性冲突时才会部署。正如交易算法在保持竞争优势的同时运行于防护框架内,军事人工智能系统需配备既能防止升级又不削弱战术效能的管控机制。

预防战场意外升级符合特朗普总统"终止战争而非发起战争"的承诺。正如金融监管者在维持市场效能的同时实施防闪崩机制,军事领导者可开发确保AI驱动决策强化而非损害美军优势的管控措施。通过国际外交将熔断机制整合至军事AI系统,体现了在维持美国战略主导地位与防范失控升级之间寻求平衡的务实路径。

该方案契合本届政府更广泛的AI战略——在管理战略风险的同时强调美国领导力与创新。若无适当防护机制,多AI系统在战斗场景中的互动可能导致快速失控升级,使美军卷入超出战略利益的冲突。此结果将损害美国根本目标:保障国家的长期安全、稳定与繁荣。通过引领军事AI系统有效管控机制开发,美国可在保持技术优势的同时防范可能损害国家利益的意外升级。

参考来源:CENTER FOR ETHICS AND THE RULE OF LAW

成为VIP会员查看完整内容
1

相关内容

人工智能在军事中可用于多项任务,例如目标识别、大数据处理、作战系统、网络安全、后勤运输、战争医疗、威胁和安全监测以及战斗模拟和训练。
中文版 | 实时士兵追踪如何提升战场态势感知
专知会员服务
13+阅读 · 4月20日
中文版 | 俄乌战争:乌克兰无人系统的发展
专知会员服务
18+阅读 · 4月16日
中文版 | 侦察:超越ISR中的"R"
专知会员服务
10+阅读 · 4月14日
中文版 | 数字时代的认知战:虚拟战场博弈
专知会员服务
15+阅读 · 4月13日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
45+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
国家自然科学基金
50+阅读 · 2011年12月31日
Arxiv
168+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
453+阅读 · 2023年3月31日
Arxiv
24+阅读 · 2023年3月17日
Neural Architecture Search without Training
Arxiv
10+阅读 · 2021年6月11日
VIP会员
相关资讯
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
45+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
国家自然科学基金
50+阅读 · 2011年12月31日
微信扫码咨询专知VIP会员