论文题目:EventRAG: Enhancing LLM Generation with Event Knowledge Graphs
本文作者:杨再润(浙江大学)、王艺霖(浙江大学)、史峥言(伦敦大学学院)、姚远(浙江大学)、梁磊(蚂蚁集团)、丁科研(浙江大学)、Emine Yilmaz(伦敦大学学院)、陈华钧(浙江大学)、张强(浙江大学)
发表会议:ACL 2025 Main
论文链接:敬请期待
代码链接:https://github.com/Ryaang/EventRAG
欢迎转载,转载请注明出处****
一、简介
传统检索增强生成(RAG)系统在面对叙事丰富的文档和事件驱动的推理任务时,常常因忽略事件间的时序关系和逻辑关联而显得力不从心。为应对这一挑战,本文提出了一种创新框架——EventRAG。这一框架通过构建事件知识图谱(EKG)并结合迭代推理策略,显著提升了文本生成在逻辑一致性、时序准确性和多事件推理能力上的表现。在UltraDomain和MultiHopRAG基准测试中,EventRAG展现出超越传统RAG系统的优异性能,为处理复杂叙事场景的文本生成提供了新见解。
二、研究内容与方法
EventRAG的核心在于通过结构化的事件表示增强大语言模型的生成能力。其方法首先聚焦于从多文档输入中提取关键事件、实体及其关系,并将这些信息整合成一个事件知识图谱。在这一过程中,系统通过向量相似性匹配识别并合并跨文档中语义等价的实体或事件,以消除冗余并确保图谱的语义一致性。同时,针对图谱中连接不足的节点,EventRAG利用文档上下文或大语言模型的先验知识进行补充,进一步增强图谱的完整性和连通性,为后续推理提供了坚实基础。
在检索与生成阶段,EventRAG采用基于智能体(Agent)的“检索-反思-检索”的迭代策略,超越了传统RAG系统依赖单次检索的局限。智能体将用户查询分解为与事件相关的组件,针对性地检索图谱中的相关事件,确保信息的时序和逻辑关联。通过为事件节点添加时序标记和边,系统能够捕捉事件的动态演变,精准处理时间敏感的任务。此外,智能体通过多轮查询和推理构建逻辑链,验证信息一致性,并生成上下文关联的输出。为了进一步提升可靠性,EventRAG引入反思与自我校正机制,定期检查推理结论的连贯性和准确性,动态调整以减少生成中的幻觉现象。这种事件中心的设计使EventRAG在处理叙事丰富文档时,能够更高效地应对复杂时序和逻辑推理需求。
三、实验结果及其意义
EventRAG在多个基准测试中的表现令人瞩目。在UltraDomain数据集(涵盖农业、烹饪、历史和生物实验领域)上,EventRAG在综合性、逻辑性和整体表现等关键指标上均显著优于基线模型,如NaiveRAG、GraphRAG和LightRAG。尤其在逻辑性方面,EventRAG通过事件知识图谱有效维护了事件关系的一致性,生成内容在叙事连贯性和事件描述的丰富性上表现出色。
在MultiHopRAG数据集的时间查询任务中,正确率高达0.8786,凸显了其在处理复杂逻辑链和跨事件关联方面的优势。此外,EventRAG在空查询任务中展现出更少的错误或过度自信的回答,这得益于其反思与自我校正机制,能够有效检测图谱中的不足或矛盾证据。
消融实验进一步揭示了事件知识图谱和多事件推理在EventRAG中的核心作用。移除知识扩展功能会导致生成内容的综合性和多样性显著下降,而禁用多事件推理则削弱了逻辑性和整体表现。
四、未来展望
EventRAG的提出为RAG系统提供了新的视角,但其在计算效率上仍有改进空间。事件提取和图谱构建过程依赖多次大语言模型调用,导致处理大规模文档集合时计算开销较大。未来研究可以优化这一过程,减少模型调用次数,以适应实时应用场景。同时,EventRAG的方法可进一步扩展至法律文档分析、科学实验报告整理或实时新闻处理等领域。