万字长文《机器人的崛起： 人工智能武器化》

人类文明史是人类在人文和科学领域的个人和集体发展与对权力明显不满足的追求交织在一起的复杂织锦。本文关注的是后者当代的一些方面。暴力--以及比对手更高效、更有效地行使暴力的能力--一直是这种权力竞争的标志。对于个人和小型社会单位来说，这可能和大型民族国家一样真实。为了通过权力实现支配地位，人类一直致力于发明更加巧妙的方法来引起和控制暴力。使用机器来杀死或伤害对手，其历史渊源很可能与人类本身的历史相媲美。然而，最近自动化和人工智能的发展可能在有记录的历史上第一次将暴力的控制权从人类手中夺走，并将其置于机器手中。这种可能性导致在各种国家和国际论坛上就与这种机器的使用有关的伦理和道德进行了激烈的辩论。

本文的主要目的是让普通读者（而不是专家或从业人员）了解民族国家正在努力将人工智能（AI）与致命的自主武器系统（LAWS）结合起来，给全球社会带来的法律风险。人类的国家间武装冲突主要是通过国际人道主义法（IHL）来规范。然而，致命性自主武器系统对国际人道主义法构成了特别强大的挑战，主要是因为前者能够完全取代人类（作为暴力的管理者），从而使人们对 "人道主义 "这一基础性形容词的有效性产生怀疑，而国际人道主义法的大厦正是建立在这一基础之上的。尽管如此，同样重要的是要记住，致命性自主武器系统并不是人工智能对人类安全构成的危险的唯一表现形式。

定义致命性自主武器系统（LAWS）

与许多技术驱动的问题一样，第一个法律挑战是，目前还没有一个国际公认的致命性自主武器系统的定义。在2017年在 "1980年联合国《禁止或限制使用某些可能具有过分伤害力或滥杀滥伤作用的常规武器公约》"（《特定常规武器公约》）的总体框架下举行的联合国致命性自主武器系统政府专家组（GGE）的首次会议上，缔约国审议了致命性自主武器系统的法律、伦理、军事和技术方面。虽然没有商定共同的定义，但至少有一些国家提出了关于致命性自主武器系统的工作定义和随之而来的条例的建议。

缺乏普遍定义的法律挑战并不是一个新问题。例如，尽管恐怖主义在全球蔓延到几乎无处不在，但在国际法中也没有一个法律定义。另一方面，国际法中也存在类似的缺陷，但这并不降低在界定致命性自主武器方面缺乏共识这一法律挑战的严重性。然而，所有这些武器系统的特点是在获取、跟踪、选择和攻击目标的关键功能方面具有不同程度的自主性；以及在使用致命武力的决策过程中部分或完全没有人的参与或 "人的中心思想活动"，这是一个直观（如果不是法律）的共识。

自主性 "反映了一定程度的独立动态能力和活动。致命性自主武器可以根据自主程度被归入两个一般分类中的一个。第一类是所谓的 "半自主"（涉及机械化水平和远程控制的人力投入）；而第二类是 "自主"（包括在获取、跟踪、选择和攻击目标方面更高的自由度，不需要人力投入）。在每个类别中，不同程度的自主性可以用功能来衡量--观察、定位、决定和行动（OODA）的能力，以及复制人类情景意识的能力。

在半自主类别中，通用原子公司的 "MQ-9死神 "提供了一个典型的例子。它是一种远程控制的 "无人作战飞行器"（UCAV），携带致命的有效载荷，具有复杂的情报、监视和侦察能力。然而，所有的瞄准行动都是由人类操作员手动执行的。自主性存在于它在没有飞行员的情况下获得和保持空中飞行的能力，以及通过基于GPS的自动化系统在飞行中导航的能力，包括起飞和降落。

幸运的是，第二类--完全自主的武器系统，具有致命的瞄准能力，但没有任何人类输入来控制什么、何时以及如何进行瞄准--到目前为止，还没有人。然而，预兆是严峻的。例如，美国海军的X-47B在起飞和降落方面具有自主能力，并在2015年完成了首次自主空中加油。作为一个战斗系统，随着时间的推移，它可以在执行关键功能方面获得更多的自主权。

然而，机器人工程师、军事人员和伦理学家往往对哪些设备仅仅是自动的，哪些是自主的意见不一。例如，"自动 "机器人可能在有组织的情况下，执行事先计划好的一组活动。另一方面，"自主 "机器人将在程序的控制下运作，但将在开放或非结构化的环境中运作，并接收来自传感器的信息以调整速度和方向。

武器化人工智能

也许，将自主武器系统（AWS）描述为一个具有传感器、算法和效应器的武器系统就足够了。这种系统可以包括固定和移动的机器人部件（例如，无人驾驶的空中、地面或海军车辆），配备主动或被动的传感器来导航和探测物体、运动或模式。这些传感器可以包括电子光学、红外、雷达或声纳探测器。

支持自主武器系统扩散的人提出了两个基本论点： 第一条是基于此类系统所带来的军事优势。这里强调的是AWS作为人类的力量倍增器的事实。也就是说，由于AWS的存在和可用性，完成一个成功的任务需要更少的人，而每个人的效率却大大增强。此外，AWS可以扩大 "战场，使战斗力达到以前无法进入的地区"，甚至在与人的通信和人与人之间的通信中断的情况下，也能产生高的进攻节奏。此外，AWS可以被有利地部署到 "枯燥"（例如，长时间的飞行）、"肮脏"（例如，在被生物、化学或核制剂污染的地区执行任务）或 "危险 "任务（例如，爆炸物处理[EOD]）。

第二条论据的核心是相信使用AWS比使用人类在伦理上更可取（在道德上更合理）。

支持者甚至认为，"未来的自主机器人将能够在战场上采取更'人性化'的行动，原因有很多，包括它们不需要被编程为具有自我保护的本能，有可能消除'先开枪，后问话'的态度。自主武器系统的判断将不会被恐惧或歇斯底里等情绪所蒙蔽，而且这些系统将能够处理比人类更多的传入感官信息，而不会为适应先入为主的观念而丢弃或扭曲这些信息....，在由人类和机器人士兵组成的团队中，机器人可以比由人类组成的团队更可靠地报告他们观察到的道德违规行为。"

随着人工智能的发展，它带来了一个非常诱人的选择，即完全不需要将指挥官与他们的部队联系在一起的脆弱的通信联系。当然，杀手机器人还没有成为常态；然而，有一些先兆清楚地表明了自主权扩大的模式。一个例子是以色列的 "哈比 "徘徊炸弹，它可以在空中磨蹭相当长的时间，寻找对手的雷达信号。当这些信号被识别时，它通过一个可控的自毁过程攻击并摧毁敌人的雷达。

另一个例子是SGR-1，一种人工智能机器人 "步兵卫士"，在本世纪初开发，并在十多年前（2006年）进行了成功试验。它已被部署在朝鲜和韩国的边界，并被吹捧为一个不眠不休的武装哨兵，其注意力从不动摇。它配备了一支自动步枪和一个榴弹发射器，并能通过红外线传感器辨别人类，尽管它确实需要人类操作员给它开火的指令。

在可以将人类操作员插入回路的情况下，未来可能会继续看到自主权只在技术领域而不是在实际决策过程中。这更有可能发生在航空航天和陆地领域，因为那里更容易建立通信。然而，在海洋领域，通信构成了更大的挑战，甚至为决策部署人工智能的诱惑力也非常大。与陆地不同，广阔的海洋没有永久的基础设施来接收和发送信息。因此，水面舰艇拥有广泛的船上通信套件，使它们能够相互交谈，并与陆地上的当局交谈。就像在陆地或空中一样，这些水面战斗人员也使用无线电波进行通信。这些无线电波在大气层中传播良好，但在水中却不那么好。因此，水下舰艇，如潜水艇，甚至更难沟通。水面下的船只大多使用水下声学系统进行通信，而声学系统无法在空气中传播。空气-水通信障碍是一个可怕的障碍，这使得地下领域成为部署人工智能的理想场所。作为一个术语，"无人水下航行器"（UUV）已经成为 "自主水下航行器"（AUV）的同义词，这种飞行器已经被许多国家用于科学研究以及从收集情报、监视任务、侦察和反雷等目的。与海军水下系统相关的保密性使得我们很难清楚地了解有多少国家拥有UUV的能力以及程度如何。然而，众所周知，美国、俄罗斯、法国、德国、英国、中国、以色列和印度是拥有强大的UUV计划的快速增长的国家之一，人工智能正越来越多地被整合到所有这些船只中。UUVs/AUVs在形状和形式上差别很大，从微型船到非常大的船，每一种都有自己的优点和缺点。例如，美国已经订购了四艘由波音公司为其海军建造的 "超大型无人潜航器"（XLUUVs）。这些XLUUVs将在水下独立运行数月，并在一个燃料循环中覆盖多达6500海里。波音公司的 "Echo Voyager"，也就是新的XLUUV的基础，已被宣布为 "完全自主的UUV，可用于各种以前由于传统UUV限制而不可能完成的任务"。就所有实际目的而言，这些船只是完全有能力的潜艇，尽管没有人类操作员。美国海军正在增加其无人船的数量和能力，包括在水面和水下。其建造海军舰艇的长期计划包括在未来五年（2021-2026）至少建造21艘中型和大型无人艇。中国也在2019年的年度阅兵中，展示了一艘大型无人潜艇。考虑到国防系统的发展在大多数情况下远远领先于宣布的能力，我们可以假设这些国家的致命性自主武器系统方案的发展，包括人工智能的使用，是相当先进的。

其他各种团体也在逐步利用21世纪的技术。随着人工智能驱动的致命武器系统的扩散，超出了民族国家相对严格的问责规范，恶意的非国家行为者可能发展出大规模自动杀人的能力。2018年，沙特阿拉伯摧毁了两艘遥控的、装满炸药的船只，这些船只的目标是吉赞港。最近，在2020年8月，在也门作战的沙特领导的联盟在沙特阿拉伯的阿布哈国际机场上空拦截并摧毁了一架装有爆炸物的无人机，据称该无人机是由与伊朗有政治联系的胡塞叛军发射的。

以色列巨大的新海上天然气基础设施为其敌人提供了一个明显而诱人的目标，使其海军的力量分散。2012年，黎巴嫩什叶派激进组织真主党派出一架无人机深入以色列，覆盖了到达其中一些天然气田所需的距离，绰绰有余。以色列国防部高级官员声称，真主党在获得额外的武器装备后，现在有能力攻击这些重要的海上设施。

很明显，人工智能的扩散为恐怖组织提供了威胁实体安全的更新方式，使保护和监管的范围更具挑战性。尽管威胁相当明显，但在这个技术和科学飞速发展的时代，人工智能的进一步武器化是不可避免的。令人担忧的是，俄罗斯、以色列、美国和英国等国家都在热衷于开发这种武器系统。

AWS与人权

2020年11月结束的亚美尼亚和阿塞拜疆之间的战争，是使用自主系统进行战争的一个典型例子。无人机攻击，打击了亚美尼亚和纳戈尔诺-卡拉巴赫的士兵，摧毁了坦克、大炮和防空系统，为阿塞拜疆在44天的战争中取得了重大胜利。

然而，两国军事冲突的这一新特点使敌对行动从血腥的、赤手空拳的地面战斗变成了一场致命但诱人的捉迷藏游戏，对手是一个耐心十足的--而且往往是看不见的--空中的非人类敌人。在不到两周的时间里，有数百人死亡，该镇120多座住宅和行政大楼也随之受到广泛破坏。无人机袭击迫使约6000名居民撤离，大多数妇女和儿童在户外寻求庇护。

任何人都不应被随意剥夺生命，这是世界人权法的一个重要标准。这是国际人权法的一项安排，即使 "在威胁到国家生命的公共紧急情况下"，也不能中止或劝阻。人身自由和安全的权利 "保证人们不受蓄意的身体或精神伤害，无论受害者是否被禁锢。例如，缔约国当局无视人身安全权，无理地造成身体伤害。各国 "还应该防止和改变在执法过程中无端使用武力的情况，并确保其人民不受私人保安部队的虐待，以及不受过度获得枪支所带来的危险。"

联合国《执法人员行为守则》（UNCCLEO）规定了一个总体原则，即 "执法人员只有在严格必要的情况下才能使用武力，并以履行职责的需要为限"。因此，它规定了一个基本原则，即为达到军事目的，不应使用超过必要的武力。

为了至少有选择地以合法的方式执行警务和法律执行任务，AWS必须可行地评估死亡或严重伤害的威胁程度，有效地确定谁在造成危险，考虑武力对分散威胁是否重要，有选择地认识和使用武力以外的手段，有能力建立各种通信方法和警务武器和设备，以考虑到逐步的反应，并有可获得的后备手段和资产。为了增加这种复杂性，每一种情况都需要另一种独特的反应，这将使所有这些被简化为基于数学的算法和概率计算的进展变得非常困难。

尽管近年来出现了令人印象深刻且往往令人难以置信的技术进步，但如果没有有意义且有效的人类控制和判断，AWS似乎不可能遵守这些规定，特别是在不可预测且不断发展的环境中。值得注意的是，当延伸到 "致命 "AWS（致命性武器）时，禁止AWS的论点甚至更有分量。但这丝毫不影响我们对和平与全球稳定所面临的重大威胁表示关切，即使是对人类没有直接致命或亚致命影响的AWS。一个重要的相关例子是利用 "蜂群智能 "技术，它可能使支持者有能力对可能无人居住的敌方基础设施发动重大攻击。

纳戈尔诺-卡拉巴赫危机已经迫使国际社会质疑AWS的决策过程。这些武器系统由于其自主性质，缺乏区分武装士兵和普通平民的人类技能。在马尔图尼镇，无人机的空中袭击造成五名平民死亡，另有十人受伤。居民们被迫用胶带封住车灯，或在车上涂抹泥浆，以掩盖任何可能使他们成为目标的标记。公众集会被劝阻，人们被敦促不要在任何一个地方呆太久。这种攻击的高平民化迫使一个12岁的孩子痛苦地表示："我不再喜欢蓝天了。事实上，我现在更喜欢灰色的天空。当天空是灰色的时候，无人机就不飞了"。无人机袭击的不确定性和震惊导致平民对武装无人机的部署产生了极大的仇恨。

这导致了与部署自主武器有关的另一个关键问题。国际人道主义法的应用和实施的一个基本特点是以个人为前提，逐步走向 "以人为本，而不是以国家为本 "的方法，如个人刑事责任和指挥责任等概念所示。这也延伸到了武器法的专门领域，包括人类参与致命性武器系统的设计、开发和使用。一些国际人道主义法条款反映了人类参与的必要性。所区分的合法问题包括：鉴于个人义务，国际人道主义法是否可以继续适用于自主机器。在政府专家组会议上，各国普遍认为，不管是什么，不管如何定义，国际人道主义法的人类机构方面需要在致命性自主武器系统方面得到保持。各国和非政府组织都提到和/或支持 "有意义的人类控制"、"人类判断"、"人类参与 "和 "人类监督 "等概念。 这些概念可以互换使用，一般没有定义。

2017年由 "世界科学技术伦理委员会"（COMEST）和 "联合国教科文组织伦理委员会 "联合编制的一份报告审查了 "武装军事机器人系统（武装无人机）"和 "自主武器 "的移动性、互动性、通信以及在没有外部干预的情况下做出决定的自主能力。报告认为，法律规范和工程行为准则可能适用，认知型机器人将决策权委托给机器，设计师和制造商需要承担责任，并适用预防原则。报告强调，作为一个法律问题，AWS的部署 "将违反国际人道主义法。在道德上，它们打破了机器不应该为人类做生死决定的指导原则。它继续补充说，"就其技术能力而言，自主机器人武器缺乏确保遵守区别对待和相称性原则所需的主要组成部分。虽然可以说将来有可能遵守，但在杀人机器面前，这种猜测是危险的，因为它们在特定情况下的行为是随机的，因此本质上是不可预测的"。报告有效地粉碎了本文前面提到的AWS支持者提出的聪明但谬误的 "道德 "论点，明确指出："使用致命武力的权力不能合法地委托给机器--无论其效率如何--的道德论点包含在国际法中：杀人必须仍然是负责任的人的责任，有义务做出深思熟虑的决定"。报告强烈建议，"出于法律、道德和军事行动的原因，必须保留人类对武器系统和武力使用的控制"。

结论

归根结底，只有人类可以为夺取生命负责，而自主机器人无法遵守道德、法律和军事规范。詹姆斯-卡梅隆的邪典电影《终结者》描述了一个乌托邦式的未来，其中天网，一个邪恶的人工智能（AI），发起了一场针对人类的核战争以确保自己的生存。这部电影于1984年上映，远远早于现代形式的人工智能的出现，但却预示了一些担忧，这些担忧已经主导了关于智能计算机系统的辩论。当代世界上最著名的科学家之一，已故的斯蒂芬-霍金，将人工智能描述为对人类文明的唯一最大威胁。这并不仅仅是科学家的观点。亨利-基辛格也曾警告说，人工智能将改变人类的思想和人类的价值观。

《终结者》电影所描述的技术还没有出现在我们身边，根据大多数分析家的说法，一种被称为 "通用人工智能 "的自我意识的人工智能形式还需要几十年的时间。然而，人工智能可能会继续被整合到武器系统中，并用于提高军事力量使用的精确性、杀伤力和破坏性。同时，需要不断关注围绕人类强化的法律、伦理和战略辩论--包括军队的身体和认知发展和演变，以及随着武器化的人工智能越来越多地融入战争，心理和认知过程可能如何变化和演变。

这给我们留下了一些大问题。武器化是可取的吗？国际社会是否应该寻求控制和阻止这些过程，以及这可能对人工智能的非军事用途产生什么影响？在这方面，本作者认为，关于 "杀手机器人 "的充满夸张色彩的辩论相当广泛地忽略了这一点。人工智能已经被武器化，关于禁止完全自主的武器系统的辩论忽略了许多与人工智能有关的武器化进程，这些进程已经在如火如荼地进行。需要进一步思考的最后一点是人工智能在北约等多边论坛中可能发挥的作用，以及在多边安全任务中如何在派遣国之间分享和利用人工智能。为人工智能能力制定共同的操作标准、要求和道德准则，既是必要的也是具有挑战性的。

我们还必须记住，自主系统本身并不一定是坏事。事实上，机器的自主性和人工智能已经使我们能够到达并探索火星和我们星球上的海洋深处。即使在战争中，这样的机器也可以提供一种方法，避免将人类置于可能使他们面临生命危险的情况中。然后，辩论归结为人类如何使用这种能力。尽管世界在认识到致命性自主武器系统的危险方面可能已经晚了，但我们可能仍有时间确保人工智能的发展朝着建设性而非破坏性的方向发展。