基于大型语言模型的网络威胁情报：利用LLM提取MITRE ATT&CK技术

网络威胁情报（CTI）报告提供了关于新兴和当前网络威胁的信息，对其进行分析是采取适当应对措施的关键。报告通常以长文本形式呈现，网络安全分析师需要从中提取关键要素并将其转化为可操作的步骤。为了总结和分享分析结果，报告中的句子通常会被标记上MITRE ATT&CK技术标签，以便更好地描述所识别的攻击模式。然而，这项任务可能非常耗时，并且容易受到分析师错误和偏见的影响。在现有文献中，已有一些尝试旨在自动化此过程。最常见的是，研究人员对初始报告应用不同的预处理步骤，然后应用分类技术，包括基于大型语言模型（LLM）的方法。考虑到报告是用自然语言撰写的，本文提出一种完全依赖LLM的方法，旨在最小化对报告的预处理和其他人为干预，即使不能取代，至少也能减轻分析师的工作负担。我们在一个真实世界的CTI报告和一个广泛的MITRE标记句子数据集上评估了我们的方法，将潜在适用技术的数量减少了高达33倍，同时在高达94.29%的句子中保留了真实值标签。

生成式人工智能（AI）的进步和大型语言模型（LLM）的日益普及，使得后者在多个领域得到应用。网络安全也不例外，其应用范围涵盖垃圾邮件检测、代码安全、威胁检测与响应等。在谈论网络威胁检测与响应时，CTI扮演着基础角色。对可能成真的威胁保持认知，可以带来更好的早期检测准备以及快速有效的响应能力。

CTI活动通常依赖于收集不同来源的威胁数据，包括来自传感器或设备的元数据，或用自然语言描述一般威胁或特定事件的报告。虽然元数据可以更容易地以自动化方式处理，但CTI报告需要网络安全分析师的工作来理解它们，与其他利益相关者分享发现，并最终提供可操作的反馈。这种分析可能非常耗时，容易受到每位分析师偏见的影响，并最终可能拖慢整个进程，从而损害针对各种威胁进行早期防御准备的效率。

CTI报告的性质以及分析师所需完成的任务类型，直接引发了使用LLM的想法。报告以长文本形式存在，需要标记上与特定威胁或攻击技术相对应的标签，以便这些标签能够轻松共享或进一步分析，从而制定应对措施。标签的一个常用参考是MITRE的ATT&CK矩阵，其最新企业版（17.1）包含14种对手战术，描述了211种技术和468种子技术。这些数字已经让人体会到该任务的复杂性和出错的可能性。即使不考虑子技术，分析师也必须从两百多种技术中为报告的每个部分选择最匹配描述的标签进行标记。考虑到一份报告中可能有数十个句子，并且同一句子可能涉及多种技术，自动工具的帮助因此显得极其宝贵。

文献中已经提出了使用LLM完成此类任务的方法，尽管其中一些需要预处理和依赖于不同类型技术（如机器学习处理和分类器）的中间步骤。相反，在本文中，我们提出一种完全依赖LLM的方法，试图最小化对报告的预处理，并简化人工智能的使用以完成任务。LLM成为了一级分析师；它并非取代人类，而是通过减少报告中每个句子可供选择的技术数量来简化任务。最终，分类决策仍由人类专家做出，但LLM的增强显著减少了分类过程的工作量。

在第2节分析了相关工作之后，第3节详细描述了本文提出的方法。第4节展示了技术应用于不同数据集的结果，而第5节讨论了实施这些技术时常见的议题和挑战。最后，第6节对全文进行总结。