融合：人工智能与新旧大规模毁灭性武器

去年 10 月，美国国会议员 Anna G. Eshoo 向国家安全顾问和科技政策办公室（OSTP）发出一封公开信，敦促他们解决人工智能（AI）在民用和军用领域的应用所带来的生物安全风险。她写道："人工智能在生物技术、医疗保健和制药领域有着重要的应用，然而，我们应该像对待分子或生物制品等物理资源一样，对双重用途应用对美国国家安全、经济安全和公众健康所代表的潜在危害保持警惕。" 在今年 7 月联合国安理会就人工智能对和平与安全的影响召开的历史性首次会议上，秘书长安东尼奥-古特雷斯也表达了同样的担忧，他指出："人工智能与核武器、生物技术、神经技术和机器人技术之间的相互作用令人深感震惊。"

探讨人工智能系统的双重用途性质如何扩大其他技术--包括生物、化学、核和网络技术--的双重用途性质的领域被称为 "融合"。政策思想领导者传统上一直专注于孤立地研究不同技术的风险和益处，假设威胁领域之间的相互作用有限。然而，人工智能具有独特的能力，能够与其他技术相结合并放大其他技术的风险。这就要求重新评估标准的政策方法，并建立融合风险类型学，从广义上讲，融合风险可能源自两个概念中的任何一个：技术融合或安全环境融合。

技术趋同。人工智能与其他技术领域的发展之间的直接互动会产生自身独特的益处和风险。这类融合的例子包括人工智能与生物安全、化学武器、核武器、网络安全和常规武器系统的互动。

人工智能与生物安全。在评估绘制人工智能与生物安全风险融合图的风险评估框架的相对效用时，研究人员约翰-奥布莱恩（John T. O'Brien）和卡西迪-纳尔逊（Cassidy Nelson）将融合定义为 "生命科学与人工智能之间的技术融合，从而使其相互作用的力量大于各自学科的总和"。他们的研究调查了各领域之间的潜在互动，这些互动可能会大大增加蓄意或意外的高后果生物事件的风险。例如，这包括在新型病原体的硅学（通过计算机模拟）设计中人工智能辅助识别毒力因子。随后的工作强调了深度学习在基因组学中的应用，以及高风险生物数据存储库中的网络脆弱性。原子科学家公报》最近发表的几篇文章指出了人工智能发展可能加速生物风险的其他方式。

人工智能与化学武器。作为瑞士联邦核生化保护研究所（NBC）融合计划的一部分，一家计算毒理学公司被要求调查参与药物发现的人工智能系统的潜在双重用途风险。该倡议表明，这些系统可以生成数千种新型化学武器。由于其新颖性，这些新化合物及其关键前体大多未列入任何政府观察清单。必须结合基于大型语言模型的人工智能体的出现来看待这一发展。这些智能体能够理解如何以类似的方式改变开源药物发现项目，如何向定制制造商发送电子邮件和付款，以及如何雇佣临时工来完成物理世界中分门别类的任务。

人工智能与核武器。越来越多的研究和宣传强调了人工智能融入核武器指挥、控制和通信（NC3）可能带来的不稳定后果，未来生命研究所（Future of Life Institute）的影片《人工升级》（Artificial Escalation）对此进行了说明。六月份在军备控制协会播出的一场由高级人工智能专家和政府官员参与的高级别讨论，暴露了这种整合所带来的许多安全问题。这些问题包括无法验证和审查人工智能的决策、意外使用自主武器的风险更高，以及冲突升级的可能性增加。

人工智能与网络安全。在网络空间领域，有报道指出，人工智能系统可以使恶意行为者更容易开发出毒性更强、破坏性更大的恶意软件。它们还能帮助对手通过新的零日漏洞（以前未被发现的漏洞）自动攻击网络空间，这些漏洞主要针对指挥和控制、网络钓鱼和勒索软件。鉴于当前人工智能的发展轨迹，自主发起的黑客攻击预计也将成为一种近期出现的能力。

常规武器系统中的人工智能。人工智能的一个主要特点是，它能使单个行为者以机器速度大规模地开展活动。有人认为，将这一模式应用于将人工智能集成到常规武器系统（如杀伤人员无人机和无人机群）中，会创造出一类具有大规模杀伤潜力的新武器。此外，美国的 "联合全域指挥与控制 "计划试图将常规指挥与控制结构的所有方面整合到一个由人工智能驱动的单一网络中，而这将带来许多风险，包括意外升级的风险。

上述每个例子都探讨了人工智能系统与特定技术之间的互动，但现实情况更为复杂。例如，人工智能、网络安全和核武器指挥、控制与通信（NC3）之间如何互动？如何将上述因素与对关键基础设施的威胁（如黑客攻击和瘫痪电网或水处理设施）结合起来考虑？如何评估先进人工智能系统与传统安全威胁和其他新兴技术相结合带来的风险？

安全环境的融合。除了这些直接互动的问题之外，还必须考虑在广泛使用人工智能系统的环境中，错误信息和对技术的日益敬畏会如何影响大规模杀伤性武器（WMD）的开发和使用。安全环境的趋同包括技术发展改变整个安全环境的情况，从而产生间接影响，加剧整体风险。这方面的影响可能更难调查。不过，可以预见的例子比比皆是。

例如，我们可以想象，人工智能系统的发展使虚假信息和深度伪造变得更加容易，这可能会增加国际舞台上的误解。这将降低生物事件成功归因的可能性。由于信息不对称和信号失灵的增加，核风险可能会增加。两国在人工智能发展方面的竞争态势失控也可能促使一方考虑使用大规模杀伤性武器或对另一方进行常规攻击。

除了类型学之外，另一个相关的宏观问题依然存在：是从整体上研究融合风险，还是为融合的每个方面设计单独的研究空间。例如，借鉴斯德哥尔摩国际和平研究所（SIPRI）设立的名为 "生物安全+X "的生物安全跨学科项目，可以设立一个名为 "人工智能+X "的大型研究领域，全面评估人工智能系统对其他技术和大规模毁灭性武器威胁的影响，调查共同的途径和补救措施。与此同时，每种融合途径（如人工智能和生物与人工智能和核）之间的差异也可能非常显著，以至于在综合研究这些风险时可能会忽略重要的细微差别。答案可能是两者兼而有之，但其构成值得认真考虑。

关于融合的不同学派。从表面上看，关于融合的不同思想流派与关于技术进步的阵营划分大致相同。技术乐观主义者认为，人工智能系统将最大限度地发挥这些技术的优势，并有助于最大限度地降低其风险。这些好处包括更强大的核指挥与控制、更快的疫苗开发和训练有素的网络软件；乐观主义者可以提出这样的理由，即监管会延迟或阻碍这些好处的实现。

那些抱着安全心态的人可能会更重视本文所讨论的问题，认为不受监管的人工智能发展很可能会导致国际和国家安全的净下降。

第三个阵营则坚持维持现状，他们会指出缺乏对融合的好处和坏处的实证研究，并对人工智能系统在任一方向上的变革力量普遍表示怀疑。

鉴于人工智能发展和部署的速度快、规模大、无处不在，专家们必须从安全的角度出发。所有这些技术都具有广泛的双重用途，加速发展既可能带来好处，也可能带来危害。评估每种技术的效益与风险之间的平衡已经是一个非常困难的经验问题。这一问题因技术的趋同而变得更加复杂，并凸显了进一步研究的必要性，以量化其利弊，并调查可适应这一复杂性的框架。

然而，研究表明，在许多高风险领域，防御性技术与进攻性技术相比往往处于劣势。例如，致命性很强的病原体通常会比疫苗的开发更具竞争力。研究每种技术交叉点上的平衡至关重要，但新兴防御性技术往往落后于新兴进攻性技术，这就要求政策制定者在应对融合威胁时保持最大限度的谨慎。

防范融合风险的政策。除了进一步的研究，在政策领域也有许多工作可以做，以降低融合风险。

首先，政府必须向国家科学基金会等机构提供专项资金，以提高我们对融合风险的认识。这应包括探索特定领域的技术融合和安全环境融合，以及对独立于技术领域的威胁融合动态进行更全面的调查。

其次，国会可以考虑公共领域已经出现的越来越多的政策建议，以减轻特定人工智能途径带来的风险。最近的一份报告是海伦娜组织 5 月份召开的人工智能与生物融合问题高级别专家会议的成果，其中提出了几项建议。这些建议包括测试生物滥用的大语言模型、强制进行DNA合成筛查，以及扩大生物安全和生物安保指南的范围，将人工智能生物技术纳入其中。参议院的一项新法案以政策建议为基础，防止将先进的人工智能整合到核武器指挥、控制和通信（NC3）系统中。人工智能国家安全委员会发布了关于降低武器系统中人工智能相关风险（如扩散和升级）的战略指南。随着人们对其他融合途径的风险有了更好的了解，很可能会出现更多高价值的政策建议。

重要的是，通过普遍适用于先进人工智能系统的共同政策机制，这些融合途径中的许多都有可能被缩小。例如，先进人工智能系统部署的全面审批程序，包括强制性独立审计和红队制度，可以帮助防止滥用和意想不到的后果，不批准部署具有高融合危险风险的系统。让人工智能开发者对其创造的系统所造成的危害负责的法律责任框架，也有望激励主要实验室在设计时充分测试和降低融合风险。最后，不同公司和国家之间加强协调与合作，为人工智能开发建立共同的保障措施，有可能缓解地缘政治紧张局势，并阻止相关行为体将其人工智能技术用于军事目的。

随着所有这些技术的加速发展和核紧张局势达到前所未有的高度，调查新旧威胁的融合对于维护和推进国家和国际安全至关重要。

参考来源：Bulletin of the Atomic Scientists，By Emilia Javorsky, Hamza Chaudhry