《网络安全异常和异常值检测验证》美国陆军2022最新73页技术总结报告

背景

在与美陆军分析小组及其研究促进实验室进行CRADA的过程中，Entanglement, Inc.（EI）已经展示了比任何已知技术更快、更准确的网络安全异常检测能力--假阳性现象少得多。

全球大多数网络安全报告（包括2022年Sonicwall报告）认为，2021年几乎所有类型的网络攻击都大幅上升，包括zeroday和勒索软件攻击。所有这些攻击都有一个共同点：网络异常。网络安全中的异常检测是指识别罕见的发生、项目或事件，由于其特征与大多数处理的数据不同而引起关注，这使得组织能够跟踪安全错误、结构缺陷甚至欺诈。异常检测的三种主要形式是：无监督的、有监督的和半监督的。安全运营中心（SOC）分析师在网络安全应用中使用这些方法中的每一种，都有不同程度的有效性。局限于监督式机器学习的系统往往会标出许多潜在的异常现象，以至于分析员不得不与无休止地增长的假阳性警报作斗争，遭受认知过载。

过多的登录，两点之间的流量高峰，以及异常大量的远程登录是异常的几个例子。正如我们在2020年的大流行病应对中所了解到的，后一种 "异常 "对于许多组织来说是必要的，以便在工人被困在家里时保持业务运转。鉴于COVID-19大流行期间远程工作的规模所带来的挑战，以及2021年网络威胁的增加，美国陆军转向私营部门，探索一系列可能的解决方案。

2021年5月，拜登发布了一项行政命令，授权所有联邦机构采用零信任安全。2021年第三季度，提出了一种新的网络安全方法，以解决最近授权的零信任安全架构的持续监测部分。如果成功的话，这种能力可以应用于军队和其他联邦机构运营的更大的网络，并帮助提供实时态势感知。这部分是基于对深度神经网络的研究，其目标是：（a）加速自动编码器（AE）功能；（b）加速生成对抗网络（GAN）功能；以及（c）整合一种叫做支持向量机（SVM）的量子启发优化算法。该方法包括二次无约束二元优化（QUBO）在网络安全异常和离群点检测方面的新应用，是由美国政府委托的。在业务转型办公室的指导下，陆军分析小组（AAG）立即开始与可能被用于击败网络异常威胁的新兴技术的广泛潜在来源合作。2021年6月，AAG的主任丹-詹森先生了解到Entanglement公司的无偿援助提议，该公司选择了其战略伙伴和团队参与者美国半导体公司Groq公司，为陆军提供新颖、突破性的专利技术以及计算服务。

Entanglement团队提供服务，协助陆军在12个月内确定一个最佳的网络安全异常检测能力。2021年6月，AAG和Entanglement延长了题为 "COVID-19资源分配优化 "的现有合作研究与开发协议（CRADA）。Entanglement团队在接下来的几周内与Clay Stanek博士领导的AAG研究促进实验室一起工作，并在2021年10月展示了显著的性能改进和可行性。

主要发现、影响和建议

CRADA下的工作最终验证了解决网络安全异常检测的能力，比传统方法更快，并具有更好的性能，正如关键性能参数（KPP）所衡量。关键性能参数涵盖了与每秒总推断量、检测到的威胁百分比、准确性、召回率、精确度、其他基于混淆矩阵的指标以及曲线下面积（AUC）有关的指标。

对于额外的变量或更大的数据集，Entanglement/Groq能力提供了比传统方法更高的效率，可以大规模地解决原本难以解决的问题。核心技术是一种专有的专用数字电路设计，具有高度的并行性，用于解决可表示为深度神经网络模型和二次无约束二元优化（QUBO）问题的各类问题。AAG以前的努力显示了每秒检测12万个推断的能力。这是用QUBO模型作为基准和标准所能达到的指标。基准是基于一个解决方案集，它将算法解决方案与专有的量子启发芯片结合起来。芯片解决方案可以扩展到卡、节点，甚至更多。此外，为CRADA的可行性而设定基准的现有解决方案已经在开发下一代的更新，这将提高模块化程度并减少热信号。

在六个月内，Entanglement能够实现每秒72,000,000次推断的异常检测率，并展示了在广泛的数据处理系统领域实现每秒120,000,000次推断的潜力。

验证案例由KDD Cup 1999（KDD99）数据集和CICIDS2017数据集构建。如模型性能部分所述，AE和GAN解决方案的计算输出在确定异常情况方面非常有效。QUBO SVM是以量子化形式建立的，在异常检测方面也很有效，最后能够在大约250毫秒内完成整个数据集的计算。