算法决定谁是打击目标：以色列国防军在加沙的AI应用

2023年11月下旬，即哈马斯10月7日恐袭事件六周后，《+972》杂志记者尤瓦尔·亚伯拉罕发表题为"'大规模刺杀工厂'：解密以色列对加沙的精确轰炸"的震撼调查报道，揭露以色列国防军（IDF）借助新型人工智能系统实施的大规模空袭行动。文中详细描述了代号"Habsora"（"福音"）的AI系统——据称该系统使以军得以在加沙军事行动中每日生成100个新打击目标：

据消息人士解释，Habsora系统处理着"数万情报人员无法处理"的海量数据，能够实时推荐轰炸坐标...此类系统的运用使得定位并攻击低阶武装人员住宅成为可能。

2024年4月，亚伯拉罕发布深度追踪报道，披露以军另外两套名为"薰衣草"和"爸爸在哪？"的AI系统。基于对加沙战争亲历者的匿名采访，该报道详尽阐释了以军如何将AI系统整合至"杀伤链"流程——从潜在目标识别到最终实施打击的完整作战链条。

在三套AI系统中，"薰衣草"系统获得最详尽披露。报道称该系统通过风险评分机制评估个人与哈马斯或伊斯兰圣战组织的关联概率。亚伯拉罕指出该算法"将37,000名巴勒斯坦人标记为疑似武装分子"。本文拟以"薰衣草"系统为案例，对军事AI推荐系统进行伦理分析。

在展开论述前，需作两点声明：本文目标既不在于谴责以军，亦非验证报道真实性。若报道属实，其揭示了AI在加沙战争中的破坏性应用模式；若如以军回应所称存在失实，该案例仍为军事AI未来应用的潜在风险提供了警示性注脚。

致命性自主武器系统（LAWS）的伦理争议

关于军事AI系统道德性的讨论并非始于当前加沙冲突。自2013年以来，国际社会持续开展"阻止杀手机器人"运动。尽管"杀手机器人"容易令人联想到《终结者》中的施瓦辛格或《黑客帝国》的哨兵机器人，现实中致命性自主武器系统（LAWS）主要表现为具备自主选择与攻击目标的无人机或游荡弹药，其运作无需人类操作员干预或监督。

禁止LAWS研发部署的倡议揭示了多重风险与伦理关切，可归为三类：（1）道德准则的不可编码性；（2）责任归属缺口；（3）人性尊严的消解。

首先论及（1），道德不可编码理论至少可追溯至哲学家约翰·麦克道尔。他认为人类无法通过"如果-那么"类简单规则编码"正确"的道德理论，因此任何人工系统都缺乏特定情境下的道德判断能力。应用于军事领域，该理论强调战争的混沌性与复杂性，要求参与者具备即时判断与应变能力。基于此，我们无法确保LAWS行动不违反国际人道法（IHL）。

以"战时法"两大基本原则——区分原则与比例原则为例。前者要求区分战斗人员与非战斗人员，后者要求军事行动造成的损害须与预期军事效益成比例。这两项原则具有高度模糊性：手持基尔潘（仪式匕首）的男孩是否构成武装战斗人员？用手机报告士兵位置的少女如何界定？击毙一名叛乱分子是否足以抵消五名家庭成员"附带损伤"？此类案例凸显确保军事行动符合国际人道法标准的现实困境。

转向（2），除质疑AI系统能否做出必要区分与道德推理外，更严峻的问题在于攻击行为错误后果的责任认定。当士兵犯下战争罪或指挥官下达非法命令时，追责主体明确。但当自主系统行动产生意外后果时，追责机制陷入困境。

这一挑战被称为"多手问题"：由于LAWS涉及设计、监管、部署与维护等多方主体，任一主体都难以为系统行为承担足够责任。假设自主攻击无人机蓄意撞击校车致20名儿童死亡，我们虽直觉认为需追责，但具体对象难以确定。若系统维护完善，设计者无法预见自主学习系统生成非常规规则；监管者部署时测试显示系统安全性与准确性达标。法律层面或可强行归责，但道德层面无人满足"知情"与"控制"的追责要件。

最后论及（3），允许算法数学化裁定生死将导致人性尊严的沦丧。反LAWS倡导者指出，由算法决定生死本质上构成对生命价值的亵渎。人权观察报告强调："完全自主武器可能破坏人性尊严原则...作为无生命的机器，它们既无法理解个体生命的价值，也无法认知生命消逝的意义。"罗伯特·斯帕罗提出类似观点，认为部署LAWS相当于"将敌人视作可随意灭绝的害虫"。这些论述共享核心认知：即便在战争中，道德准则仍应约束行为边界，敌方人员的基本权利仍需尊重。

军事推荐系统与责任归属

基于前文所述反对致命性自主武器系统（LAWS）的三类伦理质疑，类似"薰衣草"的推荐系统能否规避这些争议？对LAWS的主要反对意见（贯穿上述三类）聚焦于系统的自主性特征，以及人类在决策流程（即"杀伤链"）中的角色缺失问题。而推荐系统因维持人类决策闭环，理论上可保留有效控制权，从而避免此类质疑。

丹尼尔·阿莫罗索与古列尔莫·坦布里尼提出维持人类控制需满足三项标准："故障保护执行者"、"问责归因主体"与"道德能动实施者"。推荐系统似乎满足这三项要求：系统仅提供建议，分析员作为"故障保护者"可否决违反国际人道法的输出；通过审批流程确立清晰责任链；半自主特性使每项建议需经多环节人工审核，为道德判断提供实施空间。

然而，加沙战争中以色列国防军使用AI推荐系统的举报内容，打破了这种理想化图景。在三大伦理质疑中，责任归属本应最易解决——毕竟分析员需审核推荐目标，错误决策应由审批者担责。但"薰衣草"的实际运用方式颠覆了这一逻辑：

战争初期，军方授权分析员直接采纳系统生成的打击名单，无需核查算法决策依据或原始情报。消息人士透露，人工审核仅作为"橡皮图章"，通常仅用约20秒确认目标性别即批准轰炸。这引发责任追溯困境：若分析员机械执行指令，责任是否应归咎于制度设计者？

埃尔克·施瓦茨提出的"自动化偏见"现象加剧了这一问题。她指出："自动化偏见将包括道德权威在内的所有决策权让渡给无情感的统计处理...消解人类对机器产出的责任感。"更深层挑战源于机器学习系统的"黑箱"特性。以色列军事情报局8200部队指挥官在其著作中写道：

"信息量与多样性越多越好——视觉数据、通信记录、社交关联、战场情报、通讯录、照片...虽然人类初期参与特征选择，但系统将逐步自主识别特征，最终生成数以万计的目标。"

海量数据与复杂参数交互形成算法黑箱，即便设计者亦无法解析输入输出间的逻辑关联。缺乏可解释性不仅阻碍质疑系统建议的有效性，更使相关主体因信息缺失而免于道德追责。更严重的是，以军明知"薰衣草"存在10%误判率（即3700名非哈马斯成员被列入清除名单），仍选择系统性依赖该推荐系统。这种对误伤率的制度化容忍，彻底瓦解了责任伦理的基础框架。

"薰衣草"与军事推荐系统的伦理拷问

问题本质更为深层。假设当前系统存在使用不当，但未来版本实现100%准确率，是否就能化解伦理困境？这引向"道德不可编码"理论的核心矛盾。根据亚伯拉罕报道：

"薰衣草"系统通过大规模监控获取加沙230万居民数据，评估每个人隶属哈马斯或伊斯兰圣战组织军事分支的概率并生成1-100风险评分。消息人士指出："系统几乎为每个加沙人标注威胁等级。"

此类风险评估在AI应用中早有争议先例。如美国司法系统COMPAS算法被揭露对少数族裔存在偏见性累犯评估。就"薰衣草"而言，我们虽无法确证其内置偏见，但内部人员的疑虑值得关注：

"与哈马斯需建立何种关联才会被系统判定为成员？"质疑者指出判断标准存在严重模糊性——"未受薪但提供协助者是否构成武装人员？历史成员但已脱离者如何界定？机器标注的可疑特征均缺乏准确性。"

问题不仅在于系统准确度，更在于如何将"哈马斯成员"的抽象概念量化为可计算参数。正如任何将现实编码的尝试，必须警惕"地图非疆域"的认知陷阱：AI系统构建的只是现实世界的数字镜像，而非真实世界本身。

汉娜·阿伦特曾警示："行为主义理论的危险不在于错误，而在于可能自我实现。"将此洞见延伸至AI领域，研究者布莱恩·克里斯蒂安指出："模型的威胁不在于失真，而在于可能塑造现实。"在定义"哈马斯成员"标准时，"薰衣草"并非揭示客观真相，而是通过算法建构主观现实。这并非否认系统存在逻辑，而是揭露其通过暴力计算将数据幻象包装为科学真相的本质。

这引向最终议题：推荐系统如何异化决策流程与受害群体。亚伯拉罕揭示以军通过"薰衣草"将决策去人性化——消息人士称："若系统判定某人为武装分子，操作员实质上将其视为行动指令。"

理论上，操作员可将系统建议作为调查起点，但现实受多重因素制约：自动化偏见、输出不可解释性、算法内部偏见等。更关键的是系统设计理念——以军情报部门主管在其著作中直言不讳：

"人类成为制约作战效能的瓶颈...无论投入多少人力，每日生成打击目标数量始终不足。"

"薰衣草"的研发基于消除"人类瓶颈"的军事逻辑，但其本质并非理想分析师的数字聚合，而是通过制造科学化假象抽离战争最后的人性底色。该系统并非价值中立的工具，而是承载特定世界观——推崇规模化杀伤，边缘化人类判断。

对受害者而言，去人性化意味着生命被降维为统计数字。如消息人士所述：

"误判被统计学合理化...即便无法确认目标准确性，只要统计层面达标即可执行。"

更令人发指的是附带损伤计算机制：

"系统通过战前居民数据与假设撤离比例自动计算平民伤亡，甚至生成非整数预测值。"

依赖此类系统的道德破产显而易见：生命不可分割，每个个体都享有尊严与生存权。

技术常被视为中立工具，但"薰衣草"的存在本身塑造了生死由算法裁定的战争现实。虽然致命性自主武器系统引发广泛担忧，但"薰衣草"案例表明，真正的紧迫威胁或许不在于系统自主程度，而在于人类能否维持对战争武器的实质控制权。

参考来源：techpolicy