《人工智能对军事防御和安全的影响》加拿大国际治理创新中心(CIGI)2022最新报告

毫无疑问，今天围绕人工智能（AI）的最复杂的治理挑战涉及国防和安全。CIGI正在促进战略制定：人工智能对军事防御和安全的影响项目将这一领域的主要专家与来自国防部的40多名公务员和加拿大武装部队的人员聚集在一起，讨论人工智能对国家安全和军事领域的力量倍增效应。

这一努力依赖于一系列的四次研讨会，以产生关于数据驱动技术如何引发巨大的技术重组的前瞻性思考，这将对加拿大的国防规划产生深远影响。具体来说，这些研讨会集中在数据治理和政策（道德、云计算、数据准备和互操作性）；决策（可信赖性、人机一体化、生物技术和问责制）；模拟工具（培训、兵棋推演、人机合作、机器人、自主和可信的人工智能）；以及信息时代的加拿大情报（将人工智能用于情报）。CIGI还主办了一个研究生研讨会，以激励整个加拿大在全球公共政策、计算机科学和安全等领域学习的新兴学者。

报告总结

本文探讨了在人工智能（AI）和机器学习背景下的军事特定能力的发展。在加拿大国防政策的基础上，本文概述了人工智能的军事应用和管理下一代军事行动所需的资源，包括多边参与和技术治理。

维持先进军事能力的前景现在与人工智能的武器化直接联系在一起。作为一项通用技术，人工智能代表着一种力量的倍增器，有能力重塑战争规则。事实上，在核弹头仍然是一种单一的技术应用的情况下，人工智能有能力支持许多不同类型的武器和系统。正如北大西洋公约组织（NATO）的指导意见所指出的，人工智能和其他 "智能 "技术现在对加拿大及其盟国的未来安全至关重要。

新技术在改变战争的性质方面有着悠久的历史。从马匹和盔甲的使用到航空母舰和战斗机的引进，人工智能和机器人只是代表了军事技术发展的最新阶段。常规武器与人工智能和机器学习的融合，必将重塑决策的性质和军事战略转型中的武力应用。

即使当代人工智能系统的能力被限制在机器学习算法的狭窄范围内，这种限制可能不会持续太久。与神经科学、量子计算和生物技术相重叠的发现领域正在迅速发展，代表了 "智能机器 "进化的未知领域。在这些新的研究领域中的科学和技术发现给加拿大的国防带来了巨大的风险，但同时也代表着巨大的机遇。

显而易见的是，新兴技术已经成为高度紧张的地缘政治竞争的基础，它与一系列商业产业和技术平台相重叠。中国、俄罗斯、美国和其他国家和非国家行为者正在积极追求人工智能和其他前沿技术的军事应用。竞争的领域包括云技术、高超音速和新导弹技术、空间应用、量子和生物技术以及人类增强。

尽管技术创新一直塑造着国家间冲突的性质，但新兴和颠覆性技术（EDT）的规模和速度是前所未有的。加拿大的国防政策反映了这种担忧，它呼吁使加拿大武装部队（CAF）适应不断变化的地缘政治环境。加拿大国防规划已着手扩大和发展加拿大武装部队，在新的军事平台整合中纳入下一代侦察机、遥控系统和天基设施。

基于对不断变化的技术环境的广泛评估，加拿大国防部（DND）认识到，这个新时代的特点是全球力量平衡的变化。这包括在快速发展的创新经济中大国竞争性质的变化。就像石油和钢铁为工业时代设定条件一样，人工智能和机器学习现在也可能为数字时代设定条件。

这种规模的破坏是由技术和制度变化的融合所驱动的，这些变化可以以新的和不可预测的方式触发复杂的反馈回路。在这个新的环境中，人工智能技术将迫使世界各国军队投射力量的能力倍增。确定军事人工智能发展中的护栏对于避免未来危机至关重要。应用减少风险的措施来识别和减轻军事人工智能可能带来的一系列风险将是关键。事实上，在这些能力完全嵌入世界上目前和未来的军队之前，治理人工智能可能会更容易。

从整体上看，这种转变预示着从初级机器到数据驱动技术和精密电子的巨大转变。这种物理、数字和生物技术的加速融合代表了一场巨大技术革命的早期阶段。在全球范围内管理这些新兴和颠覆性的技术，对于减少未来冲突的风险至关重要。

1 引言

从人工智能和机器人到电池存储、分布式账本技术（DLT）和物联网（IoT），新兴和颠覆性技术（EDT）现在正在激起一个商业创新的新时代。这一巨大的技术变革景观正在酝酿一场社会和经济变革，对中央银行的发展具有巨大影响。正如北约最近的一份报告所指出的（北约新兴和颠覆性技术咨询小组2020），这些技术包括：

→ 人工智能和机器学习。人工智能/机器学习的发展及其对创新的潜在影响。这包括神经形态计算、生成式对抗网络，以及人工智能从已经收集或尚未收集的数据中揭示出意想不到的见解的能力。

→ 量子技术。正在进行的从量子过程研究中获得的知识转化为量子技术的应用，包括量子计算、量子传感、量子密码系统，以及在量子尺度上对材料的操纵和开发。

→ 数据安全。用于保障和损害通信、数据交易和数据存储安全的算法和系统的设计，包括量子证明加密方法、区块链和分布式账本架构，以及更广泛的网络安全领域。

→ 计算功能的硬件。微型化、电力采集和能源储存方面的进展，包括在全球范围内提供数字化关键基础设施所需的物理系统（物联网）和机器人的广泛使用及其对全球系统和流程的持续影响。

→ 生物和合成材料。从原子/分子层面的材料设计、合成和操作到中观和宏观尺度的创新，支持生物工程、化学工程、基因层面的操作、增材制造和AI介导的生成设计。

正如蒸汽机和印刷术激发了工业革命一样，人工智能和机器人技术现在也在军事技术的性质和全球力量平衡方面引发了巨大变革。人工智能的兴起并非没有历史先例，但伴随着人工智能的变化表明，需要对国防规划进行更精确的调整，以适应一个数据驱动的时代。

在大国竞争和多极体系的背景下，人工智能已经成为竞争的一个特别焦点。中国、俄罗斯、美国和其他许多国家都在积极追求人工智能能力，并把重点放在国防和安全方面。例如，中国希望到2030年在人工智能方面领先世界，并期望通过利用大量的丰富数据，扩大其在人工智能产业化方面的领先优势（Lucas和Feng，2017年）。

事实上，数据和数据驱动的技术现在占据了全球经济的制高点。整个全球数据经济的竞争已经与大国竞争密不可分（Mearsheimer 2021）。尽管美国和中国的经济深深地相互依存，但中国在整个欧亚大陆不断扩大的投资将很快使其成为世界贸易的中心。

技术优势仍然是北约国家的关键支柱，但中国正在迅速赶超。即使美国在人工智能发现方面建立了强大的领先优势，中国也越来越有可能在人工智能驱动的应用产业化方面占据主导地位。中国不仅有先进的商业能力，而且还有一个连贯的国家战略。中国的技术部门正在达到专业知识、人才和资本的临界质量，正在重新调整全球经济的指挥高度（Lucas and Waters 2018）（见图1）。

中国产业部署的大部分技术创新都是 "渐进式 "的，而不是 "颠覆式 "的，但现在这种情况正在改变。将新兴市场聚集在其轨道上，中国前所未有的经济扩张现在对世界经济产生了引力（The Economist 2018）。标志性项目，价值数万亿美元的 "一带一路 "倡议（世界银行2018年）为围绕电动汽车、电信、机器人、半导体、铁路基础设施、海洋工程以及最终的人工智能的广泛战略转变提供了一个全球平台（McBride和Chatzky 2019年）。

毫不奇怪，中国已经是国际专利申请的世界领导者（世界知识产权组织2020）。随着自主机器（Etzioni和Etzioni 2017）、可再生能源基础设施、量子通信（Šiljak 2020）、增强型脑机接口（Putze等人2020）和天基武器（Etherington 2020）的出现，重新思考加拿大国家安全，特别是加拿大国防的性质的压力正在增加。鉴于技术创新的步伐不断加快，以及亚洲作为世界贸易中心的崛起（Huiyao 2019），来自国外的技术的影响可能是巨大的。

图1：按购买力平价计算的国内生产总值预测（以万亿美元计）

2 AI与军事防御

2.1 AI定义

人工智能的概念已被广泛讨论，但该术语的精确定义仍然是一个移动的目标。与其说人工智能是一项具体的技术或特定的创新，不如说它是一个材料的集合。事实上，即使人工智能技术已经成为广泛的主流商业应用的基础，包括网络搜索、医疗诊断、算法交易、工厂自动化、共享汽车和自动驾驶汽车，人工智能仍然是一个理想的目标。

尽管人工智能领域的研究始于20世纪40年代，但随着机器学习和计算机处理能力的改进，过去十年对人工智能兴趣的爆炸性增长已经加速。人工智能的持续进步被比喻为在人脑中发现的多尺度学习和推理能力。当与大数据和云计算相结合时，预计人工智能将通过将 "智能 "人工智能和机器学习系统与第五代（5G）电信网络（即物联网）上的大量联网设备连接起来，使数字技术 "认知化"。

作为人工智能的一个子集，机器学习代表了人工智能的最突出的应用（见图2）。机器学习使用统计技术，使机器能够在没有明确指令的情况下 "学习"，推动许多应用和服务，改善一系列分析和物理任务的自动化。通过使用数据自动提高性能，这个过程被称为 "训练 "一个 "模型"。使用一种算法来提高特定任务的性能，机器学习系统分析大量的训练数据集，以便做人类自然而然的事情：通过实例学习。

今天，机器学习的最常见应用是深度学习。作为更广泛的机器学习家族的一部分，深度学习利用人工神经网络层来复制人类智能。深度学习架构，如深度神经网络、递归神经网络和卷积神经网络，支持一系列广泛的研究领域，包括计算机视觉、语音识别、机器翻译、自然语言处理和药物设计。

图2：人工智能的层级

2.2 加拿大国防部：将人工智能应用于国家安全

安全人工智能位于新兴和颠覆性技术（EDT）星座的中心，包括机器人学、基因组学、电池存储、区块链、3D打印、量子计算和5G电信。在研究层面，美国仍然是人工智能的全球领导者。目前，国家科学基金会每年在人工智能研究方面的投资超过1亿美元（国家科学基金会2018年）。国防高级研究计划局（DARPA）最近宣布投资20亿美元用于一项名为AI Next的计划，其目标是推进上下文和适应性推理（DARPA 2018）。

与过去的原子武器或隐形飞机的技术发展不同，没有国家会垄断军事人工智能。研究人员和领先的商业企业之间广泛的全球合作意味着人工智能和机器学习的进步可能会在全球范围内扩散。事实上，人工智能发展的大多数技术进步是由工业界而不是政府推动的。除了市场主导的技术公司，世界各地广泛的网络集群正在孵化新一代的商业创新（Li and Pauwels 2018）。因此，许多未来的军事应用将可能是为商业产业开发的技术的改编。

幸运的是，加拿大一直是人工智能研究前沿的领导者，并继续通过2017年推出的泛加拿大人工智能战略下的几个项目培育一个强大的人工智能生态系统。加拿大政府积极参与人工智能咨询委员会和各种国际伙伴关系，包括2020年启动的全球人工智能伙伴关系；人工智能国防伙伴关系，其第二次对话在2021年举行；以及重叠人工智能驱动的安全和规划的多边协议（五眼，北约）。事实上，加拿大的国防政策，"强大、安全、参与"（SSE），反映了加拿大政府对增加年度国防开支的承诺，重点是技术。

目前的联邦预算包括对人工智能发展的实质性承诺，承诺在10年内投入4.438亿美元（Silcoff 2021）。在政府2021年的预算中，1.85亿美元将支持人工智能研究的商业化；1.622亿美元将用于在全国范围内招聘顶尖的学术人才；4800万美元将用于加拿大高级研究所；五年内4000万美元将旨在加强埃德蒙顿、多伦多和蒙特利尔的国家人工智能研究所的研究人员的计算能力；五年内860万美元将帮助推进人工智能相关标准的发展和采用（加拿大政府2021年，148）。

2.3 增强加拿大的情报能力

人工智能是一个影响广泛的商业和军事技术的模糊领域。像电力或化石燃料一样，人工智能的广泛应用意味着人工智能和其他通用技术有能力重新配置现代军队的步伐和组织（Bresnahan和Trajtenberg 1995）。从整体上看，人工智能代表了国家安全性质的结构性转变。出于这个原因，SSE设想了一个未来的军事态势，更加注重开发、获取和整合先进的变革性技术，包括网络和自主系统。

即使加拿大在传统联盟（北美防空司令部、北约和五眼联盟）中的持续作用仍然是国家安全的基础，EDT正在从根本上改变冲突的性质。正如格雷格-菲夫（2021年）所观察到的，人工智能作为战争工具的崛起与升级加拿大国家安全架构，特别是加拿大情报部门的日益增长的需求相重叠。技术变革和信息爆炸的复合周期，新的技能组合和新的数据分析战略对国防规划的演变变得至关重要。

在数字时代，战争正日益成为基于知识的战争。随着冲突进入信息领域，军事规划开始重新聚焦于信息/虚假信息行动、网络行动、情报行动和政治或经济影响行动。事实上，这种混合战争作为一种战争工具由来已久，其目的是利用宣传、破坏、欺骗和其他非动能军事行动，从内部破坏对手（Bilal 2021）。

网络仍然是潜在对手、国家代理人、犯罪组织和非国家行为者的一个关键目标。这包括对通信、情报和敏感信息的嵌入式监视和侦察。正如Amy Zegart（2021年）所解释的那样，技术正在通过极大地扩展数据和信息的获取，使情报的性质民主化。事实上，今天驱动战略情报的大部分信息实际上是开放源码情报（OSINT）或在公共领域。

现代军队正变得严重依赖安全、及时和准确的数据。随着数据的急剧膨胀，消化它变得不可能。这种数据爆炸正在推动对新的分析模式和新型网络工具的需求。在数字时代，安全和情报人员需要新的平台、新的工具和跨领域工作的新OSINT机构。在这方面，人工智能可能特别有帮助。

随着数据的重要性增加，在广阔的数字领域的对抗性竞争也在增加。人工智能和机器学习可以通过筛选巨大的数据库来极大地提高加拿大的国家情报能力。人工智能不是银弹。人工智能系统不能产生意义或提供因果分析。然而，人工智能和机器学习可以极大地增强人类在管理数据和数据驱动的分析方面的情报能力。

2.4 增强加拿大军力

随着决策者为数据驱动的世界调整其安全态势，人工智能有望改变军事冲突的既定模式。DND/CAF面临的关键挑战之一是数据驱动的网络重塑指挥和控制系统的速度（Thatcher 2020）。集中式系统的优势在于其协调人类活动的效率。在指挥系统中，人员和传感器推动威胁检测，将信息向决策堆栈上移，以便决策者可以做出适当的反应。数字技术深刻地加速了这个过程。

人工智能在军事领域的应用可能被证明对传统的指挥和控制系统具有挑战性。例如，在美国，五角大楼的第一位首席软件官最近辞职，以抗议技术转型的缓慢步伐。在离开国防部职位后的一次采访中，尼古拉-沙伊兰告诉《金融时报》，美国未能对技术变革和其他威胁作出反应，使国家的未来面临风险（Manson 2021）。

除了变化的速度缓慢，军事指挥和控制系统的集中性意味着单点故障提供了脆弱的攻击点。指挥机关和自动或人类控制者往往容易受到利用不良或欺骗性信息的对抗性技术的影响，甚至自上而下的决策在适应复杂的突发挑战方面也会很缓慢。

神经形态计算、生成式对抗网络（GANs）、人工智能决策支持、数据分析和情报分析方面的新创新在增强军事行动的结构和进程方面可能会产生巨大影响。机器学习算法的快速发展已经在商业和军事领域引发了一波投资热潮。

超越对损耗和动能攻击的传统关注，转向基于加速和适应的新方法，数据驱动的技术可能是促成国家安全性质彻底转变的关键。人工智能不是一种单一的技术。相反，它是一类可以在一系列军事和商业应用中整合的技术。这些技术不断演变的基础是数据。

数字技术现在由数据推动，并将继续推动创造越来越多的数据驱动的技术--特别是人工智能。数据是训练人工智能和先进机器学习算法的基础。数据既是大规模运行的数字系统产生的 "操作废气"，也是机器对数据输入作出反应的过程，它现在推动了机器的 "自主性"。

数据驱动的技术支撑着现代社会的核心社会和经济功能，涵盖了基础设施、能源、医疗保健、金融、贸易、运输和国防。随着5G网络的全球推广，预计在高度健全的全球信息网络中创建、收集、处理和存储的数据将出现爆炸性增长。根据市场研究公司IDC的数据，目前全球数据正以每年61%的速度增长（Patrizio 2018）。预计到2025年，数据将达到175 zettabytes（一万亿吉字节），改变数字经济的性质和规模（同上）。

出于这个原因，DND/CAF将数据提升到国家资产的水平是明智的。这对经济增长和加拿大国防都至关重要。将数据作为国家资产加以保护和利用，将意味着重新思考目前构成当代数据架构的大型集中式数字基础设施。可以肯定的是，网络时代的数据安全应该是分散的和联合的，以避免集中式系统的脆弱性。

3 武器化AI：致命的自治系统

关于技术破坏的传统预测往往会犯一个错误，即假设这种规模的系统变化只是以一对一的方式取代旧技术。在现实中，这种规模的颠覆往往会不成比例地取代旧的系统，使其具有巨大的新的架构、界限和能力（Arbib和Seba 2020）。

正在进行的人工智能武器化正在助长一场全球军备竞赛，有望重塑加拿大国防战略的轮廓。事实上，世界上许多国家在人员系统自动化、设备维护、监视系统以及无人机和机器人的部署方面已经远远领先（斯坦利和平与安全中心、联合国裁军事务厅和史汀生中心2019）。从美国到俄罗斯到以色列再到中国，军事研究人员正在将人工智能嵌入网络安全举措和支持远程手术、战斗模拟和数据处理的机器人系统。

以先进的物流、半自动车队、智能供应链管理和预测性维护系统的形式将人工智能应用于军事行动代表了人工智能的近期应用（Perry 2021）。然而，能够在陆地、海洋、空中、太空和网络领域针对个人（无论是否需要人类干预）的自主武器的演变代表了军事冲突的可能未来（见图3）。事实上，近100个国家的军队目前拥有某种程度的武装或非武装无人机能力（Gettinger 2019）。

图3:全球无人机激增

商业无人机技术在采矿、农业和能源领域的纵横捭阖，正在助长无人机技术的广泛扩散。正如最近亚美尼亚和阿塞拜疆之间的冲突所表明的那样，一群相对便宜的自主和半自主无人机可以被利用来压倒传统的军事系统，使一系列当代平台变得过时（Shaikh和Rumbaugh 2020）。轻型、可重复使用的武装无人机，如土耳其的Songar（Uyanık 2021）可以配备一系列有效载荷，包括迫击炮、手榴弹和轻机枪。最近对沙特阿拉伯的Abqaiq石油加工设施（Rapier 2019）和俄罗斯的Khmeimim空军基地（Hambling 2018）的攻击反映了军事无人机在不同战场环境中的应用越来越多。

致命自主武器系统（LAWS）被定义为可以在没有人类授权的情况下选择和攻击目标的武器，它被设计为在独立识别目标之前在指定的行动区域内长期徘徊。多个无人机或机器人可以并行运作，以克服对手的防御或摧毁一个特定目标。开发人员倾向于将致命性武器系统分为三大类，即观察、定位、决定和行动（OODA）循环（见图4）。这些类别包括。"循环中的人"、"循环中的人 "和 "循环外的人"。这种区分也被框定为 "半自主"、"受监督的自主 "和 "完全自主 "的技术系统。不幸的是，受监督的致命性自主武器系统和完全自主的致命性自主武器系统之间的区别，可能只是一个软件补丁或一个监管程序。

图4：OODA环

随着致命性自主武器系统和其他数据驱动的技术变得更便宜和更广泛，它们可能会给广泛的国家和非国家行为者提供平台和工具，以新的和破坏性的方式利用人工智能和机器学习。除了收紧OODA循环外，军事人员将需要了解人工智能在加速OODA循环方面的影响，以确定在特定情况下哪种模式最合适。

3.1 网络平台

鉴于EDT的范围和规模，认为我们可以简单地保持从上个世纪继承的系统和做法是错误的。正如英国查塔姆研究所2018年的一份报告所警告的那样，美国、英国和其他核武器系统正变得越来越容易受到网络攻击（Unal and Lewis 2018）。这些担忧是有根据的。人工智能和EDT的扩散一起，几乎肯定会通过利用人工智能和自主系统的规模效应，为小国和非国家行为者带来好处。

对于许多北约国家来说，网络平台已经成为多领域行动的关键--海、空、陆、网络和空间。大规模的网络使得在复杂环境中可视化和协调大量资源成为可能。在5G电信和云计算的基础上，信息系统现在可以有效地收集、传输和处理大量的战场数据，提供实时数据分析。

连接设备正在成为协调空袭、驾驶无人机、消化战斗空间的实时视频和管理高度复杂的供应链的关键。在英国，国防数据框架提供了一个结构，以解决军事组织与数据驱动的企业需求相一致的挑战（Ministry of Defence 2021）。从战略到通信到后勤到情报，数字平台现在是协调复杂军事行动的基础。数据现在是所有作战领域的命脉。

在一个数字化的战斗空间中，每个士兵、平台和资源现在都是一个复杂军事网络中的节点。从20世纪90年代以网络为中心的美国军事行动开始，数字技术已经成为先进武器、战术和战略的基础。从战场态势感知和自主无人机到精确制导弹药和机器驱动的心理行动，网络正在使战争进入网络时代。

在集中式机构对工业时代至关重要的地方，平台和网络正在成为数字时代的关键。人工智能本质上是一种 "自下而上 "的技术，依靠不断 "喂养 "大量的数据来支持机器学习作为 "学习引擎"。随着数字生态系统的激增，网络平台和它们所依赖的数据管理系统成为管理不断扩大的资源和人员的关键。

与金融部门一样，DND应该寻求区块链等DLT，以加速加拿大军队的数字化转型。通过在分散的网络中横向分配数据，CAF区块链可以帮助减少官僚化系统固有的限制和脆弱性。DLT提供了一个高度分散的验证系统，可以确保所有的通信和数据传输免受对手的攻击，同时消除集中式节点的潜在故障。

3.2 无人机群和机器人技术

人工智能在军事规划中的应用正在迅速推进，许多国家在部署无人机和机器人方面已经取得了很大进展。事实上，无人机技术的全球扩散正在顺利进行中。

世界各地的军队正在加速开发或采购攻击型无人机（见图5）。俄罗斯的 "闪电"（BulgarianMilitary.com 2021）、西班牙的Rapaz8以及英国、9美国10和以色列11的各种无人机项目共同代表了军事技术新时代的早期阶段。与工业时代的军事技术不同，无人机可以以低成本获得，并需要相对较少的技术技能。

无人机群技术涉及微型/迷你无人机/无人驾驶飞行器或无人机群，利用基于共享信息的自主决策。事实上，当代军用无人机已经可以被设计成在没有人参与的情况下定位、识别和攻击目标。利用蜂群技术，数以百计的非武装无人机可以从现场收集信息，同时用各种武器（即火器、火炮和/或弹药）引导数以千计的无人机。

正如简短的视频 "Slaugherbots "所展示的那样，完全自主的武器将使瞄准和杀死独特的个人变得非常容易和便宜。在面部识别和决策算法的基础上，国家和非国家行为者都可以广泛使用致命性武器。数以千计的相对便宜的无人机配备了爆炸性的弹头，有可能压倒防空系统，攻击基础设施、城市、军事基地等等。

图5：无人机对比

3.3 马赛克战争

无人机群压倒加拿大军事设施的威胁，以及对关键基础设施的网络攻击或在卫星传感器检测到威胁时自动发射的高超音速导弹，代表了一个令人不安但越来越可能的未来。从复杂性科学和对昆虫的研究中产生的，使用无人机来支持 "集群情报 "代表了一个加速战争节奏的新工具集。

为了应对这种不断变化的环境，DARPA提出了 "马赛克战争"的概念。马赛克战争的中心思想是，模块化系统可以成为应对高度网络化环境的廉价、灵活和高度可扩展的工具。就像马赛克中的瓷片一样，单个作战平台可以被设计成高度可配置的。编队利用分散的代理在 "杀戮网 "上进行重新配置。杀戮网的目标是避免 "单体系统 "的结构僵化。

与传统战争中需要的复杂棋局不同，马赛克战争利用数字网络，利用模块的灵活性和增强的决策（时间压缩）加快动态响应时间。像自然界中的复杂系统一样，杀伤性网络使用算法来消除单点故障，通过模块化设计加速反应时间。

从主导地位（预测）转向加速反应（适应），"马赛克战争 "旨在支持混合军事单位，利用 "决策栈 "上下的横向网络。人工智能、无人机、传感器、数据和人员结合在一起，为地面上的作战指挥官提供支持，使小型编队能以更快的速度获得情报、资源和后勤资产。

像 "马赛克战争 "这样的模块化系统表明，未来的战争将越来越多地利用现在驱动战争游戏和模拟的计算、数据分析和算法。推动高度流动、游戏化和不可预测的环境，未来的人工智能系统可以将战争加速到一个随着结果范围的扩大而变得极其密集的计算速度和节奏。

DARPA最近的AlphaDogfight（2019-2020年）为这一新现实提供了一个窗口。使用复杂的F-16飞行模拟器让计算机与有经验的人类飞行员对决，试验的目的是为DARPA的空战进化计划推进人工智能开发者。毫不奇怪，F-16人工智能代理通过积极和精确的机动性击败了人类飞行员，而人类飞行员根本无法与之相提并论，五局为零。

4 对抗性攻击

人工智能的武器化也在激起对抗人工智能系统的新战略和方法。正如网络行动（无论是间谍活动还是攻击）可以指示计算机网络或机器以它们不打算的方式运行，对手也可以对人工智能系统使用同样的策略。这个过程被称为对抗性机器学习，旨在找出机器学习模型的弱点并加以利用。攻击可能发生在开发或部署阶段，包括通过提供欺骗性输入（例如，"毒化"数据）或针对模型本身来误导模型。

这些方法在国家安全环境中特别危险，因为在许多情况下，它们是微妙的，人类无法察觉。此外，具有挑战性的是，对手不一定需要对目标模型的具体知识或直接访问其训练数据来影响它。随着人工智能系统变得更加普遍，更多的人可以接触到，对手的吸引力和攻击机会将增加。

4.1 攻击数据

攻击者可能试图修改训练数据或测试数据。这是通过创造对抗性样本来实现的，这些样本被故意 "扰乱 "或改变并提供给模型，从而导致错误。例如，通过改变洗衣机图像的分辨率，研究人员能够欺骗一个模型，将机器分类为 "安全 "或 "扩音器"（Kurakin, Goodfellow and Bengio 2017）。对人的眼睛来说，对抗性图像看起来几乎是一样的。

在国家安全方面，对手可能会试图使用同样的技术来暗示武器系统实际上是一个社区中心。如果这是在孤立的情况下发生的，那么这个问题很可能被识别和解决。如果对手的样本被长期大规模使用，这可能成为一个重大的挑战，并影响对情报收集系统的信任。

此外，一些对手可能并不精确--或有技能--并可能试图迫使一个模型对整个类别而不是特定类别进行错误分类。由于我们在国家安全环境中越来越依赖计算机图像，并不总是能够实时或在有争议的空间进行验证，因此在这种攻击中出现误判的风险是很大的。

高后果的人工智能系统并不是对抗性攻击的唯一目标。受对抗性样本影响的人工智能系统可以包括生物识别，其中假的生物特征可以被利用来冒充合法用户，语音识别中攻击者添加低量级的噪音来混淆系统（Zelasko等人，2021）和计算机安全（包括在网络数据包中混淆恶意软件代码）。

由于DND/CAF寻求通过部署人工智能系统来提高效率--如军舰上的语音助手（McLeod 2019）--必须在部署前评估对抗性使用的风险并制定对策。

4.2 攻击模型

除了改变输入，另一种攻击方法可用于逆向工程模型以获取训练数据（Heaven 2021）。由于机器学习模型对训练数据的表现比新的输入更好，对手可以识别目标模型预测的差异，并与包括个人身份信息在内的已知数据相匹配（Shokri等人，2017）。随着机器学习即服务变得越来越多--而且在许多情况下，被用作开发更复杂的能力的基础--DND将需要仔细审查国家安全系统的数据泄漏风险。这甚至适用于看似无害的系统，如语音助手。

人工智能系统的弱点的例子很多（Hadfield-Menell等人，2017）。这些例子包括吸尘器将收集到的灰尘弹回它刚打扫过的地方，以便它能收集更多的灰尘，或者数字游戏中的赛艇在原地循环以收集分数，而不是追求赢得比赛的主要目的。虽然这些例子没有生命危险，但同样的技术--被称为奖励黑客（当一个模型被指示使其目标函数最大化，但却以非故意的方式进行）--可以被用于更严重的效果。

从旨在用固定的训练数据解决 "单步决策问题 "的机器学习过渡到解决 "顺序决策问题 "和更广泛的数据集的深度机器学习，将使对抗性攻击更难发现。这种威胁是如此之大，以至于美国情报高级研究项目活动正在资助一个项目，以检测木马人工智能对已完成系统的攻击。令人担忧的是，政府可能会在不知情的情况下操作一个产生 "正确 "行为的人工智能系统，直到出现 "触发 "的情况。例如，在部署过程中，对手可能会攻击一个系统，并在更晚的时候才导致灾难性的故障发生。这些类型的攻击可能会影响到图像、文本、音频和游戏的人工智能系统。

4.3 防御和反制措施

正如对抗性样本可以用来愚弄人工智能系统一样，它们可以被纳入训练过程中，以使它们对攻击更加强大。通过对最重要的国家安全人工智能系统进行清洁和对抗性数据的训练--要么给它们贴上这样的标签，要么指示一个模型将它们分离出来--更大的防御是可能的。但是，复杂的对手很可能会自行躲避这种防御方法，而使用额外的战术进行深度防御将是必要的。

GANs有各种各样的用例，从创建深度假说到癌症预后（Kim, Oh and Ahn 2018）。它们也可用于防御对抗性攻击（Short, Le Pay and Ghandi 2019），使用一个生成器来创建对抗性样本，并使用一个判别器来确定它是真的还是假的。一个额外的好处是，使用GANs作为防御，实际上也可能通过规范数据和防止 "过度拟合 "来提高原始模型的性能（IBM云教育2021）。

对抗性攻击和防御模型进行基准测试--如使用GANs--是一种全面的对策，可以对AI系统进行比较。这种方法为制定和满足安全标准提供了一个量化的衡量标准，并允许评估人工智能系统的能力和限制。

作为这个测试和评估过程的一部分，博弈论可能有助于建立对手的行为模型，以确定可能的防御策略。由于人工智能系统无法在传统的信息安全意义上进行 "修补"，因此在部署前应仔细分析针对国家安全人工智能系统的对抗性攻击的风险，并定期进行审查。此外，训练有素的模型--特别是那些关于机密数据和最敏感应用的模型--应该得到仔细保护。

5 关于人工智能的全球治理

数据驱动的战争的速度和范围表明，我们正在进入一个新的时代，其中致命性武器系统的潜力--无论是否有人类参与--都可能极大地改变全球力量平衡。从杀手级无人机和人机合作到增强的军事决策（杀手2020），人工智能技术将使世界各国军队投射力量的能力大大增加。正在进行的人工智能武器化也与空间武器化相重叠（《经济学人》2019年），因为低地球轨道（LEO）日益成为军事监视、遥感、通信、数据处理（Turner 2021）和弹道武器（Sevastopulo和Hille 2021）的操作环境。

人工智能与低地轨道和致命性自主武器系统的兴起，代表了全球安全性质的一个关键转折点。为此，世界各地的学术研究人员、技术企业家和公民都对人工智能的军事化所带来的危险表示担忧。正如他们正确地指出的那样，在规范负责任地开发和使用人工智能的规范和法律方面缺乏国际共识，有可能造成未来的危机。

5.1 战争法则

除了我们在科幻小说中经常看到的对人工智能的夸张描述，重要的是建立适当的制衡机制，以限制人工智能技术可能提供的权力集中。关于管理人工智能和其他数字技术的共同国际规则和条例将塑造未来几十年的战争和冲突的轮廓。在军事人工智能的发展中制定护栏，对于减少未来冲突的可能性至关重要。

加拿大和其他北约国家积极参与这一讨论可能是未来全球和平与安全的关键。在发动战争的条件（jus ad bellum）和战争中的人工智能行为（jus in bello）方面，规范人工智能使用的战争法仍有待确定。鉴于美国和中国之间不断扩大的竞争，需要制定关于致命性自主武器系统的使用及其扩散的条约是再及时不过了。

正如北约所观察到的，加拿大及其盟国应寻求促进、参与和建立合作机会，以支持开发和应用人工智能和其他EDT的广泛、全面的架构（北约新兴和颠覆性技术咨询小组2020）。尽管面临着艰巨的挑战，全球治理在规范军事人工智能方面可以发挥重要作用。尽管对人工智能及其武器化有不同的看法，但过去的谈判可以作为未来条约的基础，特别是在定义战争规则方面。这包括关于常规武器、核军备控制、生物和化学武器、地雷、外层空间和平民保护的条约（见图6）。

到目前为止，《联合国特定常规武器公约》（CCW）已经监督了一个讨论应对自主武器带来的人道主义和国际安全挑战的进程。已经提出了一系列监管致命性自主武器系统的潜在方案，包括《特定常规武器公约》下的一项国际条约，一个不具约束力的行为准则，宣布各国承诺负责任地开发和使用致命性自主武器系统。在联合国之外，2013年发起了 "停止杀手机器人 "运动，目标是完全禁止致命性自主武器系统。

联合国秘书长安东尼奥-古特雷斯强调了人工智能和其他数字技术的风险和机遇（联合国2020），并呼吁禁止致命性自主武器系统（古特雷斯2021）。不幸的是，联合国成员国，特别是联合国安理会的观点存在分歧，一些国家认为监管是民族国家的专属权限，而另一些国家则侧重于更多部门的做法。除了人工智能的武器化，在围绕人权、算法偏见、监控（公共和私人）以及国家支持的或国家支持的网络攻击等问题上也存在广泛的分歧。

对于世界上的主要军事大国来说，缺乏互信仍然是追求人工智能集体军备控制协议的一个重大障碍。即使相当多的国家支持提供新的具有法律约束力的条约，禁止开发和使用致命性自主武器，但世界上大多数主要军事大国都认为人工智能的武器化具有重大价值。鉴于这些分歧，致命性自主武器系统的多边管理将需要建立信任措施，作为打开政治僵局的军控进程的手段。

走向平凡的监管 也许制定管理人工智能的政策和监管制度的最具挑战性的方面是难以准确地确定这些制度应该监管什么。与生物和化学武器不同，人工智能大多是软件。事实上，人工智能是一个移动的目标：40年前被定义为人工智能的东西，今天只是传统的软件。

人工智能是一个模糊的技术领域，影响着广泛的商业和军事应用。例如，机器学习算法是搜索引擎（算法排名）、军用无人机（机器人技术和决策）和网络安全软件（算法优化）的成分。但它们也支撑着平凡的行业，甚至儿童玩具（语义分析、视觉分析和机器人技术）、金融软件和社交媒体网络（趋势分析和预测分析）。

与属于这些平凡的监管领域的产品和流程一样，人工智能技术不是被设计成最终实体，而是被设计成在广泛的产品、服务和系统中使用的成分或组件。例如，一个 "杀手机器人 "不是一种特定技术的结果。相反，它是人工智能 "成分 "重新组合的结果，其中许多成分也被用来检测癌症或增加驾驶者的安全。

虽然人们倾向于使用一个专门的不扩散镜头来监管人工智能，但双重用途的挑战仍然存在。与核扩散或转基因病原体不同，人工智能不是一种特定的技术。相反，它更类似于一个材料或软件成分的集合。与大多数二元的核不扩散镜头相比，可以在食品监管中找到更相关（尽管不那么令人兴奋）的监管模式的灵感，特别是食品安全和材料标准（Araya和Nieto-Gómez 2020）。

5.2 治理人工智能

鉴于对人工智能进行全面监管存在重大的概念和政治障碍，治理仍然是一项艰巨的挑战。一方面，如果我们把人工智能理解为一系列复制人类活动的技术实践，那么就根本没有一个单一的领域可以监管。相反，人工智能的治理几乎重叠了每一种使用计算来执行任务的产品或服务。另一方面，如果我们将人工智能理解为大幅改变人民和国家之间权力平衡的基础，那么我们就会面临重大挑战。

幸运的是，这并不是民族国家第一次面临影响全球安全的新技术。在第二次世界大战之后，世界上最强大的国家--美国、英国、苏联、中国、法国、德国和日本--对核武器、化学制剂和生物战的全球治理进行监督。当时和现在一样，世界必须采取集体行动来治理人工智能。

与冷战时期一样，包括定期对话、科学合作和分享学术成果在内的建立信任措施可以帮助减少地缘政治的紧张。为管理军事人工智能带来的风险制定一个共同的词汇，可以为随着时间的推移制定更有力的人工智能多边条约提供基础。

在这方面，经济合作与发展组织（OECD）已经公布了其关于人工智能的建议，作为一套政府间标准，于2020年2月启动了人工智能政策观察站。加拿大和法国政府还与经合组织一起领导了一个全球人工智能伙伴关系（GPAI），旨在成为一个人工智能政策的国际论坛。GPAI的成员专注于以 "人权、包容、多样性、创新和经济增长原则 "为基础的负责任的人工智能发展。

除了GPAI，一些欧洲国家已经呼吁欧盟成员开始一个关于负责任地使用新技术的战略进程--特别是人工智能。美国已经邀请盟国讨论人工智能的道德使用问题（JAIC公共事务2020）。北约已经启动了一个进程，鼓励成员国就一系列道德原则和具有军事用途的电子技术关键领域的国际军备控制议程达成一致（Christie 2020；NATO 2020）。认识到EDT对全球安全的深远影响，北约于2019年12月推出了EDT路线图（北约科技组织2020）。

从整体上看，二十一世纪需要进行正式监管。从长远来看，这很可能包括寻求与禁止生物武器、化学武器和杀伤人员地雷一样的人工智能条约。然而，鉴于人工智能的创新速度和世界超级大国之间日益扩大的分歧，就人工智能的全球治理进行谈判的机会之窗可能正在关闭。

图6:人工智能的全球治理

6 结论：走向国家创新体系

即使在工业时代即将结束的时候，技术创新也在加速进行（Araya 2020）。自从大约80年前诞生以来，人工智能已经从一个神秘的学术领域发展成为社会和经济转型的强大驱动力。人工智能在战争中的整合被一些军事分析家描述为一个不断发展的 "战场奇点"（Kania 2017）。在 "技术奇点"（Schulze-Makuch 2020）的概念基础上，人们越来越多地猜测，人工智能和机器人将超越人类的能力，有效地应对算法驱动的战争。

人工智能和其他EDT的演变正在将先进的数据、算法和计算能力汇集起来，以 "认知 "军事技术。在这种新环境下，现代军队正变得严重依赖提供安全、及时和准确数据的网络。数据已经成为数字系统的 "作战用气 "和驱动 "智能机器 "的原料。随着数据重要性的增加，在广阔的数字领域的对抗性竞争也在增加。事实上，数据的真正价值在于其推动创新的数量和质量。

正如北约关于EDT的年度报告（北约新兴和颠覆性技术咨询小组2020）明确指出，要想跟上技术变革的步伐，就必须在技术的开发、实验和应用方面保持灵活性和快速迭代。整个CAF的创新能力必须是一个更广泛的创新生态系统的一部分，该系统有效地整合了公共和私人生态系统的研究和实施。这包括与加拿大工业界合作利用双重用途的GPT的明确目标，以便利用已经存在的技术。

这种多领域的合作在历史上被定义为国家创新体系（NSI）（OECD 1997）。事实上，NSI政策和规划可以采取多种形式，从松散的协调到高度整合的伙伴关系。在美国（Atkinson 2020）、中国（Song 2013）和欧洲（Wirkierman, Ciarli and Savona 2018）应用的各种NSI规划模式表明，在最大化政府-产业-研究伙伴关系方面可以找到大量的经济和社会回报。政府应通过税收优惠、采购和研究资金以及战略规划，努力建设加拿大的技术能力。但它不能单独行动。

国家创新必然取决于机构参与者在一个共享的生态系统中进行合作。出于这个原因，一个协调的加拿大国家统计局将需要在推动长期创新的过程中，人们和机构之间的技术和信息的相互流动。鉴于EDT的许多创新是由工业界主导的，推进公私伙伴关系对加拿大军队的发展至关重要。对于国防部/加拿大空军来说，要推进适合数字时代的军队，政府、工业界和学术界将需要以更综合的方式进行合作。

建立一个强大的加拿大创新生态系统将意味着更广泛的公私合作和持续的知识和资源的再培训、培训和孵化。尽管开发尖端人工智能需要人力资本投资，但大多数人工智能应用现在可以通过开源许可获得，即使核心学习算法可以在公共平台和整个学术生态系统中获得。这种 "开放一切 "环境的影响是对封闭的等级制度和深思熟虑的官方机构的实质性挑战。

政府程序和规划将需要适应加速的创新生命周期，以配合EDT积极的淘汰周期。除了与网络技术相关的巨大的不对称安全风险外，向数据驱动型军队的转变将需要大量关注数据安全和数据治理。与进行传统的国家间冲突所需的大量成本和规划不同，网络攻击的破坏性影响可以由仅有一台个人电脑的小团体对关键基础设施发动。鉴于未来不断增加的挑战，大型官僚机构（公司、政府、学术和军事）的设计变化是不可避免的。

除了对新的和不同的知识、资源和专长的需求，加拿大政府和加拿大军方将需要平衡硬实力和不断变化的地缘政治格局的需求。在美国占主导地位的时代之外，二十一世纪正被一个以技术民族主义和后布雷顿森林体系为特征的多极体系所塑造。面对一个快速发展的数字时代，国际合作将是确保和平与安全的关键。信息共享、专家会议和多边对话可以帮助世界各民族国家及其军队更好地了解彼此的能力和意图。作为一个全球中等国家，加拿大可以成为推动这一努力的主要伙伴。

国际治理创新中心（CIGI）

国际治理创新中心（CIGI）是一个独立的、无党派的智囊团，其经同行评议的研究和可信的分析影响着政策制定者的创新。其全球多学科研究人员网络和战略伙伴关系为数字时代提供政策解决方案，目标只有一个：改善各地人民的生活。CIGI总部设在加拿大滑铁卢，得到了加拿大政府、安大略省政府和创始人吉姆-巴尔西利的支持。