《用于网络入侵检测的竞争学习注意机制原型》2022最新42页技术报告，美国海军学院

维护安全的计算机网络和信息系统对美国防部（DOD）执行的行政职能和业务至关重要。然而，来自不同国防承包商和大型企业网络的武器平台的多样化生态系统导致了许多数据格式，使进行防御性网络行动（DCO）的网络保护小组的分析过程复杂化。此外，在日常网络行为的噪音中识别对手的行动是一个巨大的挑战，因为他们采用了微妙的方法来掩饰他们的行动。

随着过去十年计算机架构的进步，使得深度学习的发展呈爆炸式增长，具有数百万或数十亿参数的神经网络已经成为机器学习的有力工具。然而，以前将神经网络应用于入侵检测的工作主要集中在递归和卷积神经网络上，但还没有探索基于注意力机制的架构，其灵感来自于Vaswani等人（2017）的Transformer。这些基于注意力的模型包含的层通过学习数据序列内的成对互动产生丰富的上下文表征，使计算机视觉和自然语言处理在过去五年里取得了巨大的进步。

这项研究在新不伦瑞克大学的CSE-CIC-IDS2018数据集上调查了基于注意力的神经网络架构与传统模型相比的性能。结果显示，利用注意力机制的模型在渗透攻击类别上的表现明显优于经过调整的前馈网络，报告了精度、召回率和接收者操作特征曲线下的面积（AUROC）。此外，这项工作探索了一种新的高效的深度神经网络的注意力机制，通过竞争性学习的记忆原型学习数据的压缩表示，显示了与利用梯度下降的替代性高效注意力架构相比的竞争性性能。