《训练自主网络防御智能体：军事网络中的挑战与机遇》最新报告

本文探讨了如何在军队中开发和训练强大的自主网络防御（ACD）智能体。本文提出了一种架构，将多智能体强化学习（MARL）、大型语言模型（LLM）和基于规则的系统组成的混合人工智能模型集成到分布在网络设备上的蓝色和红色智能体团队中。其主要目标是实现监控、检测和缓解等关键网络安全任务的自动化，从而增强网络安全专业人员保护关键军事基础设施的能力。该架构设计用于在以分段云和软件定义控制器为特征的现代网络环境中运行，从而促进 ACD 智能体和其他网络安全工具的部署。智能体团队在自动网络操作 (ACO) gym中进行了评估，该gym模拟了北约受保护的核心网络，可对自主智能体进行可重复的培训和测试。本文最后探讨了在训练 ACD 智能体理过程中遇到的主要挑战，尤其关注训练阶段的数据安全性和人工智能模型的稳健性。

图 1：四个网络位置（A-D）容纳五个蓝色智能体（1-5）的情景。

本文探讨了为自主网络防御（ACD）智能体训练混合人工智能（AI）模型时所面临的挑战和机遇，尤其是在战术边缘环境中。这些挑战源于此类环境所特有的独特、不可预测和资源受限的设置。北约研究任务组 IST-162 和 IST-196 的工作重点是 “军事系统的网络监控和检测”[1]、[2] 和 “虚拟化网络中的网络安全”。虚拟化网络中的网络安全"[3] 至 [5]，本研究旨在利用混合人工智能框架推进 ACD 智能体的设计和功能，以确保整个联盟网络的稳健网络安全。多智能体强化（MARL）、大型语言模型（LLM）和基于规则的系统的采用构成了我们 ACD 架构的核心，增强了智能体在战术边缘环境中普遍存在的断开、间歇、有限（DIL）带宽条件下有效执行自主网络防御任务的能力。这些条件要求系统具有弹性，能在网络和资源严重变化的情况下保持高性能水平，这对传统的网络安全系统来说是一个重大挑战。例如，将深度强化学习（DRL）与生成式人工智能相结合，有利于开发能够进行复杂决策和自适应学习的智能体，提高其在动态网络环境中应对复杂网络威胁的能力[3]。此外，本文还讨论了如何将 ACD 智能体集成到模拟的北约启发的受保护核心网络环境中，并在此环境中针对一系列网络威胁对其进行评估。智能体利用人工智能技术的战略组合，自动执行监控、检测和缓解等关键防御行动，支持对关键军事和民用网络基础设施的持续保护。

本文的贡献如下： 第一，在一个集成了 MARL、LLM 和基于规则的系统的代理层次结构中使用代理智能体范例的方法论，以增强自主网络防御能力。第二，讨论在战术边缘环境中为 ACD 智能体训练混合人工智能模型的挑战和机遇。第三，定义一套评估指标，用于衡量 ACD 代理在数据和训练保护方面的性能。本文的组织结构如下： 第二节回顾了相关文献并解释了研究原理。第三节详细介绍了使 ACD 智能体适应战术边缘环境的方法。第四节介绍了我们的实证评估结果。最后，第 V 节总结了本研究的意义并概述了未来的研究方向。