图:2023 年 6 月 11 日,在以色列拉马特甘的以色列国防军基地,以色列军方 Matzpen 作战数据和应用单元的一名技术专家在工作站工作。路透社

2023 年 10 月 7 日,以哈马斯为首的巴勒斯坦武装组织在以色列南部发动袭击后,有关以色列军方在加沙地带的行动中使用数字工具的报道铺天盖地。据报道,以色列军方使用监视技术、人工智能(AI)和其他数字工具来帮助确定在加沙攻击谁或攻击什么以及何时攻击。

以色列军方在加沙使用的四种数字工具为军事行动提供信息。这些工具依赖于以色列对加沙巴勒斯坦民众持续和系统的监视。这些工具利用巴勒斯坦人的数据为军事行动提供信息,如威胁预测和目标识别。一些工具依赖于机器学习,即使用计算机化系统,在没有明确指示的情况下从数据中得出推论并识别模式。

目前尚无法记录这些数字工具的使用时间和地点,也无法记录这些工具在多大程度上与其他信息和情报收集方法结合使用。尽管如此,以色列军方使用这些工具非但无助于提供更准确的目标定位和最大限度地减少平民的生命和财产损失,反而可能加剧平民面临的风险,并引发严重的道德、法律和人道主义关切。

本问答文件对四种数字工具进行了技术和法律分析;阐述了这些工具带来的新风险、挑战和问题;并根据适用的国际法对每种工具进行了评估。

本文件基于以色列官员的公开声明、媒体报道、对专家和记者的采访,以及以色列军方以前未报道的材料,包括显然错误地在网上公布的加沙居民的个人数据。

1.以色列军方在加沙使用了哪些数字工具?

2.以色列军方的撤离监测工具是什么,它是如何工作的?

3.信号塔三角测量数据的准确性是否足以为军事决策提供依据?

4.关于撤离监测系统使用的数据还有哪些已知信息?

5.什么是 “薰衣草”工具(Lavender),它是如何工作的?

6.“薰衣草”根据哪些理由进行怀疑?

7.为什么 “薰衣草 ”的评级存在问题和风险?

8.什么是 “福音”(Gospel),它是如何工作的?

9.什么是 “Where’s Daddy?”,它是如何运作的?

10.仅凭手机定位数据就能准确地进行定点打击吗?

11.依赖大数据、机器学习和人工智能的系统有哪些局限性?

12.数据密集型数字工具在军事领域会带来哪些新的风险和挑战?

13.以色列军方使用的数字工具是自主武器系统吗?

14.国际人道主义法如何适用于数字工具的军事用途?

1.以色列军方在加沙使用了哪些数字工具?

以色列军方在目前对加沙的攻势中使用的与军事规划和目标选择有关的四种工具。一种是基于移动电话追踪的工具,用于监测巴勒斯坦人从加沙北部部分地区撤离的情况。另一种被军方称为 “福音”,用于生成要攻击的建筑物或其他结构性目标清单。另一个被军方称为 “薰衣草 ”的系统对加沙的人进行评级,怀疑他们与巴勒斯坦武装组织有关联,以便将他们标记为军事目标。“Where’s Daddy?"的目的是确定目标何时出现在某个特定地点,以便在那里对其进行攻击。

2.以色列军方的撤离监测工具是什么,如何运作?

2023 年 10 月 7 日,巴勒斯坦武装组织向以色列南部发动攻击后不久,以色列军方开始轰炸加沙。10 月 13 日,以军向居住着 100 多万人的加沙北部所有居民下达了疏散命令,要求他们在 24 小时内撤离到瓦迪加沙以南,尽管那里没有安全的去处,没有安全的转移路线,也没有足够的避难所。 以色列军方的疏散监控工具依靠手机定位数据来监控加沙的人员动向。根据《纽约时报》10 月 16 日发表的报道,即以色列军方在加沙北部开始大规模地面行动前一周,军方正在使用这一系统监测巴勒斯坦人从瓦迪加沙以北的家中撤离的情况。《华盛顿邮报》和《卫报》后来都公布了有关该系统的更多细节。

据记者描述,在以色列比尔谢瓦市南部指挥部的一间办公室里,有一个大屏幕,上面有一张加沙地图,分为 620 个部分,每个部分的颜色取决于居民撤离的程度。地图上还标注了医院、清真寺、避难所和其他建筑。有报告称,当时被追踪的移动电话数量超过 100 万部;2023 年 10 月之前,加沙电信部报告称加沙共有 1,041,198 个有效移动电话用户。

根据这些报告,该系统利用手机信号塔三角测量和其他监控数据提供加沙居民行动的实时视图。以色列军官告诉记者,这些信息被用来告知军队可以在某些地方采取什么行动,以及他们将使用什么类型的武器。

3.手机信号塔三角测量数据的准确性足以为军事决策提供依据吗?

手机信号塔三角测量数据是根据手机所能连接的信号塔来推算手机位置的,它不可能提供移动设备的准确位置信息,因此也不可能提供持有这些设备的人的准确位置信息。以色列切断了通往加沙的所有供电线路,加沙唯一的发电站也因燃料进口被封锁而停止运转,再加上加沙的电话基础设施遭到大规模破坏,缺电无法给手机充电的情况将加剧定位的不准确性。

使用手机信号塔三角测量数据计算民众存在的工具,作为军事行动决策的参考,增加了军事行动中伤害平民的风险。这些工具可能导致军事指挥官错误地得出结论,认为某一地区没有平民或平民很少,因此可以攻击这一地区。

4.关于撤离监测系统使用的数据还有哪些已知情况?

2024 年 5 月,以色列军方在网上公开张贴的数据(存在错误数据),其中包括似乎与用于监测加沙人员疏散和流动情况的系统有关的行动数据,以及用于预测特定地区的袭击可能对平民造成的伤害的数据。

以色列军方撤离信息网站的源代码中包含了这些数据。包含与加沙 10 年人口普查数据一致的人口数字、分类人口数据、平民人口流动信息、以色列军队在加沙的存在以及加沙地带 620 个分区中每个分区的累计袭击次数。这些数据还包括个人信息:每个街区人口最多的大家庭的姓氏。

虽然无法确切证实网上公布的信息的来源和用途,但这些信息与媒体报道中描述的与撤离监测系统有关的数据以及用于规划军事行动的数据相似。撤离监测系统可能还依赖于其他数据来源。

2024 年 2 月 22 日,加沙地带拉法,以色列袭击居民楼和清真寺后造成的破坏。美联社照片

5.什么是 “薰衣草”(Lavender),它是如何工作的?

“薰衣草”利用机器学习,为加沙居民打分,以判断他们是否为武装组织成员。根据报告,以色列军官负责设定阈值,超过该阈值的个人将被标记为攻击目标。

军方非常笼统地承认存在 “薰衣草 ”这样的工具,称其为 “数据库,其目的是交叉参考情报来源”。 两名以色列军官的演讲和著作提供了重要的技术细节。在 2023 年 2 月的一次演讲中,军方信号情报部门 8200 单元的人工智能和数据科学负责人介绍了一种利用机器学习 “寻找新恐怖分子”的数字工具。这位官员说,该系统于 2021 年首次在加沙使用,它将监控数据汇编起来,根据人们被怀疑与激进组织有关联的可能性对其进行评级。

演讲中描述的工具要么是 “薰衣草”(Lavender),要么是依赖于相同底层技术的另一种工具。“薰衣草”涉及一种名为 “正向无标签学习”(positive unlabeled learning)的半监督式机器学习,即从包含标签(正向)和无标签(负向)数据的数据集中训练算法。这种类型的机器学习使用标记数据的特性来尝试识别更大数据集中的模式。在本例中,该算法从以色列军方怀疑与激进组织有关联的个人的监控数据和其他数据中寻找特征,然后利用这些相同的特征从普通人群中识别出更多的可疑人员。如果将这一技术应用于大量人口,许多数据点将无法得到证实,因此这一过程在很大程度上依赖于未经证实的猜测。

6.“薰衣草”会根据什么理由进行怀疑?

由于无法访问“薰衣草”,不可能完全了解该工具是根据哪些数据点来提高某人的嫌疑分数的。一般来说,半监督机器学习依赖于一种算法来处理大量数据,然后确定哪些类型的数据对执行特定任务有用。2021 年,8200 单元负责人约西-萨里尔(Yossi Sariel)撰写了一本关于人工智能军事用途的书,或许能提供一些启示。萨里尔描述了一种 “目标机器”,其特征与 “薰衣草 ”非常相似,可以通过收集和分析潜在目标的社交关系来识别他们,就像社交媒体平台一样。

萨里尔描述的可能导致某人被赋予更高怀疑度的特质包括其社会关系或关联、与以色列军方已经认为与激进组织有关联的人的聊天群成员身份,甚至仅仅是反复更换电话或地址。

7.为什么“薰衣草”的评级存在问题和风险?

“薰衣草”的评级存在严重缺陷,可能会在武装冲突期间将平民置于严重危险之中。积极的无标签学习(见问题5)并不是一个为确定合法军事目标的决策提供信息的适当工具。导致工具指定可疑性的假设并非植根于国际人道法,而是由算法制定的标准,并基于可能存在偏见和不完整的数据,而且在技术上不可能进行仔细审查。

这种依赖可能存在缺陷的假设来为军事决策提供依据的做法可能会导致平民被错误地当作攻击目标。如果类似的宽泛定义被用于机器学习工具(如 “薰衣草”)的训练中,为目标选择决策提供信息,那么其输出结果将面临类似的偏见,并可能增加平民成为攻击目标的可能性。

8.什么是 “福音”(Gospel),它是如何工作的?

“福音"使用算法处理监控数据,生成目标清单。根据媒体报道,“福音 ”确定了四类非人类目标:军事目标,包括地道等地下目标;武装分子嫌疑人的住宅;以及 “权力目标”,即平民建筑,媒体报道援引现任和前任情报分析员的话说,攻击这些建筑的既定目标是 “制造震撼”,“引导平民向哈马斯施压”。以色列军队网站上 2020 年和 2023 年的文章描述了一种与 “福音 ”极为相似的算法工具,后者还提到了该工具的名称。

与 “薰衣草 ”相比,关于 “福音 ”如何运作的信息较少,但它很可能也使用正向无标记学习来做出判断。实际上,“福音 ”是一种用来确定哪些建筑物被视为民用物体和军事目标的工具,而根据战争法,攻击者必须对这些建筑物进行区分。

9.什么是 “Where’s Daddy?”,它是如何运作的?

根据媒体报道,“Where’s Daddy?”是一种使用手机定位追踪的工具,当被标记为军事目标的人进入一个特定地点(根据报道,通常是一个家庭住所)时,它就会通知以色列军事操作人员,在那里他们可能会受到攻击。人权观察能够证实以色列军方正在使用一种具有这种功能的工具,但无法证实任何其他具体的技术细节。

10.仅凭手机定位数据进行定点打击是否足够准确?

手机定位数据的准确性不足以确定某个特定的人在某个特定的时间出现在某个特定的地点,如果用于为军事袭击提供信息,可能会导致致命的错误。手机并不能可靠地代表人的目标,因为人们,尤其是冲突地区的人们,可能会在紧急情况下更换号码或设备,而在紧急情况下,网络和设备的接入可能会经常突然改变。

此外,追踪手机位置最常用的方法是通过三角测量基站塔位置(称为基站位置信息)或获取手机的 GPS 数据。单靠这两种系统都不足以准确确定手机的位置,从而进行精确攻击,而且在决定目标时使用这两种系统会让人担心没有按照战争法的要求采取一切可行的预防措施来避免对平民造成伤害。

11.依赖大数据、机器学习和人工智能的系统有哪些局限性?

这些系统受到若干假设的限制,并有重现社会偏见的倾向。

“黑盒效应":机器学习、人工智能和其他算法系统在设计上不允许进行审查,也不允许展示其工作或围绕如何产生产出的决策过程,它们缺乏支持将责任分配给相关参与者的文件。数字工具必须允许用户检查系统的工作,了解产出是如何产生的,使用了哪些数据。这对于使用人工智能的武器或目标生成形式尤为重要。

“自动化偏见":自动化偏见是指人们过度信任数字工具的输出结果,部分原因是认为数字工具比人类更中立。研究发现,数字工具的使用,包括在军事应用中的使用,会导致人们减少对其输出结果的审查,甚至在面对相互矛盾的信息时信任并继续依赖自动化输出结果。

“有问题的假设”:所有数字系统的运行都依赖于核心假设;这些假设是计算所依据的事实(对于电视剧推荐工具来说,这就好比说如果某人经常看科幻小说,那么该工具就应该向他推荐更多的科幻小说)。虽然机器学习和人工智能系统的指令和参数是由开发人员设定的,但这些假设并不是由程序员明确编写的,而是由算法根据初始训练数据开发的。基于这种技术的工具在处理大量数据时,会考虑到特定的输出或目标,然后能够得出自己的结论(不过,这种技术的所有者、开发者和用户最终还是要对如何使用基于算法的系统负责)。这种方法可能适用于一些低风险的应用,如电视推荐,但在军事环境中使用时就会引起严重关切,因为这关系到生死存亡。

“再现社会偏见”:此外,虽然算法系统的输出看似中立,但机器很可能反映出程序员和社会的偏见。在开发和使用数字工具时,这种风险尤其高,因为这些工具会为决定是否将人或物体作为军事目标进行攻击提供依据。例如,就以色列军队和巴勒斯坦被占领土上的敌对行动而言,国际法院(ICJ)于 7 月裁定以色列对巴勒斯坦人实施歧视和种族隔离。以色列军方开发和使用的针对被占领土人民的数字工具可能反映了这种系统性的歧视和偏见。

“垃圾进,垃圾出":有缺陷的数据会产生有缺陷的结果。如果一个数字系统是建立在不准确、过时、不完整或不能完全代表其运行环境的数据之上,那么其输出结果也会存在同样的缺陷。

13.数据密集型数字工具在军事环境中会带来哪些新的风险和挑战?

在军事环境中使用的数字工具会带来新的风险和挑战,因为它们依赖侵入式监控、数字非人化、军队可能过度依赖数字工具,以及这些工具可能会加快战争节奏。

采用机器学习和人工智能的工具依靠大量数据来产生威胁预测、目标识别等输出结果。加沙和约旦河西岸的巴勒斯坦人一直受到以色列监视,其中一些数据目前正被用于为加沙的军事行动和规划提供信息。以色列政府获取和存储加沙数据的方式似乎侵犯了受国际保护的隐私权和其他人权。

数字非人化:自动化系统将人类简化为一系列数据点,由系统进行处理,而系统根据其程序设计本身就存在偏见和局限性。一旦人类沦为数据点,被监视、排序和分类,就可能更容易决定谁应该受到伤害,包括成为致命行动的目标,并实施这些行动。这种从自动监控到伤害的轨迹被称为 “数字非人化”。

过度依赖数字工具:在快节奏、压力大的环境中,或在短时间内产生大量目标的压力下,如在武装冲突期间,人们倾向于过度依赖能够快速产生产出的数字系统。红十字国际委员会(ICRC)将此视为大数据、机器学习和基于人工智能的系统用于为军事选择提供信息的风险,并指出这可能会助长容易出错的决策、违反战争法的行为,并增加伤害平民的可能性。

加快战争节奏:红十字国际委员会还指出,数字系统加快战争节奏的能力也是平民面临风险的一个因素,特别是如果行动速度的加快妨碍了对军事规划中使用的信息来源进行彻底的分析和审查。以色列军官公开表示,数字目标生成工具使军官们能够在几天内生成与使用这些工具之前需要一年时间才能生成的目标数量相同的目标。

14.以色列军方使用的数字工具是自主武器系统吗?

以色列军方的数字工具并非自主武器系统:即根据传感器处理而非人为输入来选择和攻击目标的武器。它们是向以色列军事规划人员提供信息的数据处理系统。是否攻击推荐目标的决定是由人而不是机器单独做出和执行的。每个数字工具都需要人的投入和监督。

但联合国人权理事会 2022 年 10 月通过的一项决议强调了人类决策在使用武力方面的核心重要性。决议警告不要依赖非代表性数据集、基于算法的编程和机器学习过程。此类技术会复制和加剧现有的歧视、边缘化、社会不平等、陈规定型观念和偏见模式,造成不可预测的结果。

以色列军方的数字化工具与自主武器系统存在类似的问题。它们的运作方式难以检查、来源或验证,就“薰衣草”和“福音”使用的机器学习算法而言,更是不可能检查、来源或验证。与此同时,它们看似准确无误、不偏不倚,却会导致人们过度依赖。国际人道法如何适用于数字工具的军事用途?数字工具不是军事武器。然而,在军事行动中使用它们却要受到国际人道法的限制。正如红十字国际委员会所指出的,“任何新战争技术的使用,都必须遵守国际人道法的现有规则,而且必须能够被使用”。

“薰衣草”和“福音”提出了有关军事目标选择的重要问题,即确定是否可以合法攻击预定目标以及在何种情况下攻击预定目标,这些问题可能是致命的。国际条约法和习惯法中的两条一般规则最为相关:1)要求攻击部队区分军事目标、平民和民用物体,并只攻击前者;2)要求攻击部队采取一切可行的预防措施,尽量减少附带的平民生命损失和民用物体损坏。

“薰衣草”和 “福音”依靠机器学习来区分军事目标和平民及民用物体。如果像报道的那样,在没有充分审查或任何额外信息的情况下,根据它们的建议或对数字工具的评估采取行动,导致攻击造成平民伤害,那么以色列军队在实施攻击时就违反了战争法,可能构成战争罪。

“Where’s Daddy? ”工具据称利用移动电话定位跟踪功能,在被标记为军事目标的人进入特定地点(如家庭住宅)时通知军事操作人员。战争法并不禁止攻击有效的军事目标,如在家的军事指挥官,但所有法律规定仍然适用。目前尚不清楚是否考虑了这些其他因素,如与攻击的军事优势相比,攻击是否对平民造成了不成比例的伤害。

参考来源:Human Rights Watch

成为VIP会员查看完整内容
20

相关内容

人工智能在军事中可用于多项任务,例如目标识别、大数据处理、作战系统、网络安全、后勤运输、战争医疗、威胁和安全监测以及战斗模拟和训练。
美国空军:人工智能改进兵棋推演
专知会员服务
40+阅读 · 2024年4月13日
俄乌冲突实验室:一体化防空反导(IAMD)视角
专知会员服务
54+阅读 · 2024年3月14日
以色列在加沙战争中部署新的军事人工智能
专知会员服务
64+阅读 · 2024年2月11日
用于濒海作战的爆炸性无人水面舰艇(USV)
专知会员服务
38+阅读 · 2023年12月25日
以色列如何利用人工智能选择轰炸加沙目标
专知会员服务
58+阅读 · 2023年12月12日
俄罗斯、乌克兰和战略情报的未来用途
专知会员服务
37+阅读 · 2023年9月26日
深度学习人体姿态估计算法综述
AI前线
23+阅读 · 2019年5月19日
美参议员提出商业面部识别隐私法案
蚂蚁金服评论
12+阅读 · 2019年4月25日
相对的判别器:现有GAN存在关键属性缺失
论智
33+阅读 · 2018年7月4日
python语音识别终极指南
AI100
13+阅读 · 2018年4月5日
进攻机动作战中的机器人集群
无人机
31+阅读 · 2017年12月4日
【智能军工】算法战:牵引美军人工智能军事化应用
产业智能官
19+阅读 · 2017年11月29日
10个深度学习软件的安装指南(附代码)
数据派THU
17+阅读 · 2017年11月18日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Arxiv
166+阅读 · 2023年3月24日
Arxiv
24+阅读 · 2023年3月17日
VIP会员
相关VIP内容
美国空军:人工智能改进兵棋推演
专知会员服务
40+阅读 · 2024年4月13日
俄乌冲突实验室:一体化防空反导(IAMD)视角
专知会员服务
54+阅读 · 2024年3月14日
以色列在加沙战争中部署新的军事人工智能
专知会员服务
64+阅读 · 2024年2月11日
用于濒海作战的爆炸性无人水面舰艇(USV)
专知会员服务
38+阅读 · 2023年12月25日
以色列如何利用人工智能选择轰炸加沙目标
专知会员服务
58+阅读 · 2023年12月12日
俄罗斯、乌克兰和战略情报的未来用途
专知会员服务
37+阅读 · 2023年9月26日
相关资讯
深度学习人体姿态估计算法综述
AI前线
23+阅读 · 2019年5月19日
美参议员提出商业面部识别隐私法案
蚂蚁金服评论
12+阅读 · 2019年4月25日
相对的判别器:现有GAN存在关键属性缺失
论智
33+阅读 · 2018年7月4日
python语音识别终极指南
AI100
13+阅读 · 2018年4月5日
进攻机动作战中的机器人集群
无人机
31+阅读 · 2017年12月4日
【智能军工】算法战:牵引美军人工智能军事化应用
产业智能官
19+阅读 · 2017年11月29日
10个深度学习软件的安装指南(附代码)
数据派THU
17+阅读 · 2017年11月18日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
微信扫码咨询专知VIP会员