【KDD2024】LogParser-LLM：利用大型语言模型推动高效日志解析

日志是无处不在的数字足迹，在系统诊断、安全分析和性能优化中起着不可或缺的作用。从日志中提取可操作的洞察依赖于日志解析过程，该过程将原始日志转换为结构化格式以供后续分析。然而，当代系统的复杂性和日志的动态特性对现有的自动解析技术提出了巨大挑战。大型语言模型（LLM）的出现为这一领域带来了新的前景。凭借其广博的知识和强大的上下文理解能力，LLM在各个应用领域取得了变革性的成果。基于此，我们引入了LogParser-LLM，一种结合了LLM功能的新型日志解析器。这一结合无缝融合了语义洞察和统计细微差异，消除了超参数调优和标注训练数据的需求，同时通过在线解析确保了快速适应性。进一步加深探索，我们解决了解析粒度的复杂挑战，提出了一种新的评估指标，并引入了人机交互，使用户能够根据具体需求校准解析粒度。通过在Loghub-2k和大规模LogPub基准上的评估，我们实证展示了该方法的有效性。在LogPub基准测试中，涉及14个数据集、每个数据集平均360万条日志，LogParser-LLM平均仅需272.5次LLM调用，达到了90.6%的分组准确率和81.1%的解析准确率。结果表明，该方法具有较高的效率和准确性，优于当前最先进的日志解析器，包括基于模式、神经网络和现有LLM增强方法的解析器。