Post-disaster reconnaissance reports contain critical evidence for understanding multi-hazard interactions, yet their unstructured narratives make systematic knowledge transfer difficult. Large language models (LLMs) offer new potential for analyzing these reports, but often generate unreliable or hallucinated outputs when domain grounding is absent. This study introduces the Mixture-of-Retrieval Agentic RAG (MoRA-RAG), a knowledge-grounded LLM framework that transforms reconnaissance reports into a structured foundation for multi-hazard reasoning. The framework integrates a Mixture-of-Retrieval mechanism that dynamically routes queries across hazard-specific databases while using agentic chunking to preserve contextual coherence during retrieval. It also includes a verification loop that assesses evidence sufficiency, refines queries, and initiates targeted searches when information remains incomplete. We construct HazardRecQA by deriving question-answer pairs from GEER reconnaissance reports, which document 90 global events across seven major hazard types. MoRA-RAG achieves up to 94.5 percent accuracy, outperforming zero-shot LLMs by 30 percent and state-of-the-art RAG systems by 10 percent, while reducing hallucinations across diverse LLM architectures. MoRA-RAG also enables open-weight LLMs to achieve performance comparable to proprietary models. It establishes a new paradigm for transforming post-disaster documentation into actionable, trustworthy intelligence for hazard resilience.


翻译:灾后勘察报告包含了理解多灾害相互作用的关键证据,但其非结构化的叙述方式使得系统性知识传递变得困难。大语言模型(LLMs)为分析这些报告提供了新的潜力,但在缺乏领域知识基础时,常常产生不可靠或虚构的输出。本研究提出了混合检索智能RAG(MoRA-RAG),一种基于知识的大语言模型框架,将勘察报告转化为支持多灾害推理的结构化基础。该框架集成了混合检索机制,可动态地将查询路由至特定灾害数据库,同时利用智能分块在检索过程中保持上下文连贯性。它还包含一个验证循环,用于评估证据充分性、优化查询,并在信息不完整时启动针对性搜索。我们通过从GEER勘察报告中提取问答对构建了HazardRecQA数据集,该数据集记录了涵盖七种主要灾害类型的90个全球事件。MoRA-RAG实现了高达94.5%的准确率,比零样本大语言模型提升了30%,比最先进的RAG系统提高了10%,同时在不同大语言模型架构中减少了虚构内容。MoRA-RAG还使开源权重的大语言模型能够达到与专有模型相当的性能。它为将灾后文档转化为可操作、可信赖的灾害韧性情报建立了新范式。

0
下载
关闭预览

相关内容

RAG与RAU:自然语言处理中的检索增强语言模型综述
专知会员服务
87+阅读 · 2024年5月3日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员