北约(NATO)研究任务组IST-152为在军事资产上执行主动的、自主的网络防御行动软件智能体开发了一个概念和参考架构。在本报告中,这种智能体被称为自主智能网络防御智能体(AICA),这是先前版本的更新和扩展版本。
在与技术先进对手的冲突中,北约的军事网络将在一个激烈的竞争战场上运作。敌人的恶意软件将有可能渗入并攻击友军网络和系统。今天对人类网络防御者的依赖在未来战场上将是站不住脚的。相反,AI智能体,如AICA,将有必要在一个潜在的通信中断的环境中击败敌人的恶意软件,而人类的干预可能是不可能的。
IST-152小组确定了AICA的具体能力。例如,AICA必须能够自主规划和执行复杂的多步骤活动,以击败或削弱复杂的敌方恶意软件,并预测和尽量减少由此产生的副作用。它必须有能力进行对抗性推理,以对抗有思想、有适应性的恶意软件。最重要的是,AICA必须尽可能地保持自己和自己的行动不被发现,并且必须使用欺骗和伪装。
该小组确定了这种智能体潜在参考架构的关键功能、组件及其相互作用,以及实现AICA能力的暂定路线图。
北约应该鼓励成员国的学术界、工业界和政府对相关研究和开发的兴趣。AICA有可能成为未来战场上的主要网络战士,北约在开发和部署此类技术方面决不能落后于其对手。
为了描述其参考架构,假设AICA嵌入在一个物理军事平台上,其范围是确保平台所有相关计算机化功能的可用性和完整性,防止注入恶意代码,以确保平台的正确行为。检测物理平台的异常功能行为不属于网络防御智能体的范围。这被认为是由其他操作监测和控制功能手动或自主完成的。
以无人机作为平台案例,AICA的范围可以如图所示。
在图中,计算能力是指支持无人机功能的主要计算机(一台或多台)。执行器是控制无人机物理元素的物理设备。这里假设这些设备包括计算机处理,可以成为网络攻击的目标,因此,应该由AICA保护。同样的论点也适用于传感器和通信组件。因此,在这个例子中,图中强调的元素属于AICA的责任范围。
以下是一些关键的要求,可以看作是开发AICA架构的先决条件。
该智能体应以持久和隐蔽的方式嵌入在军事平台上。这里,隐蔽性是指智能体的能力,以尽量减少对手恶意软件检测和观察智能体的存在和活动的概率。
智能体应能在其职责范围内观察各要素的状态和活动,检测敌方恶意软件,同时保持对恶意软件的最小观察,并摧毁或降低敌方恶意软件。
该智能体应能够在被敌方恶意软件破坏的环境中有效运行。
该智能体应能抵御破坏。
该智能体应能观察和理解它所处的环境,为此它需要自己的相关环境世界模型。
智能体应能观察和影响其保护下的所有计算元素,包括平台的所有传感器和执行器的计算元素。
所有相关的通信流量对智能体应是可观察的。
当与其他友军元素或外部控制器的通信受到限制或不可用时,该智能体应能有效地发挥作用。
智能体应在特定情况下发挥作用,如有限的计算资源(内存、CPU等)和特殊的环境条件(如温度、气压、G-力、尺寸等)。
智能体在必要时应自主运作,也就是说,不依赖于外部友军元素或外部控制器的支持。这意味着它必须能够与平台的所有计算组件互动,包括实时的传感器和执行器的计算元素;做出自己的决定;并采取必要的行动。
应作出规定,使远程或本地的人类控制器能够观察、指导和修改智能体的行动,当需要和情况允许时。
智能体应能制定非微不足道的(对对手来说非显而易见的)计划,以追求一个给定的目标,并且必须能够执行计划中规定的行动。
智能体应能自主地采取破坏性行动,如删除或隔离某些软件和数据,同时遵守指定的参与规则。该智能体应具有评估此类行动所涉及的风险和利益的手段,并作出相应的决定。
当需要和条件允许时,智能体应该能够与其他友军的智能体进行协作。为此需要协作计划和谈判机制。
智能体应该能够进行自主学习,特别是关于敌人恶意软件的能力、技术和程序。学习应该在离线和在线的情况下进行,新学习的知识应该能够在智能体的操作过程中提供信息。
只要有要求,智能体应向外部控制器报告数据,使控制器能够对智能体的可信度作出推断。
智能体应能自我传播到远程友军的计算设备。自我传播应仅在特殊的和明确规定的军事需要的条件下发生。
本报告的其余部分描述了一个能满足这种要求的拟议架构。
报告的A部分提供了AICA的基本原理和操作概念,概述了其架构,并解释了必要的数据如何在智能体中存储和管理。
B部分对实现该架构的关键功能的可能方法进行了探索性讨论。在这一部分中,第5节描述了智能体如何获得有关其环境的信息并确定环境的状态。第6节讨论了智能体计划其行动的方法,包括对行动后果的预测。第7节是关于智能体执行其决定的行动的方式。第8节解释了智能体如何与其他智能体合作。第9节概述了智能体从其行动和观察中学习的可能方法。