大语言模型幻觉：系统综述

摘要——大型语言模型（Large Language Models, LLMs）已经彻底变革了自然语言处理领域，在多种任务上取得了显著性能。然而，这种令人印象深刻的流畅性往往以生成虚假或捏造的信息为代价，这一现象被称为幻觉（hallucination）。所谓幻觉，是指LLM生成的内容虽然流畅且语法正确，但在事实层面上不准确或缺乏外部证据支撑。幻觉削弱了LLM的可靠性与可信度，尤其在那些对事实准确性要求较高的应用领域中影响尤为严重。 本综述系统梳理了LLM幻觉相关研究，重点关注其成因、检测与缓解。我们首先提出了幻觉类型的分类体系，并从数据收集、模型架构设计到推理阶段，分析了幻觉在LLM全生命周期中的根本成因。接着，我们探讨了幻觉在关键自然语言生成任务中的表现机制。在此基础上，我们分别构建了幻觉检测方法与幻觉缓解策略的系统分类框架，并分析了现有方法的优势与局限。同时，我们回顾了用于量化LLM幻觉的评测基准与指标体系。最后，我们总结了当前研究的主要挑战，并展望了未来可能的研究方向，为构建更加真实、可信的大语言模型提供理论与方法基础。 关键词——大语言模型；幻觉；幻觉成因；幻觉检测；幻觉缓解；幻觉基准；幻觉指标

1 引言

近年来，得益于基于 Transformer 的语言模型（Language Models, LMs）的快速发展，自然语言生成（Natural Language Generation, NLG）取得了显著进步。诸如 ChatGPT [1]、Claude [2] 和 Bard [3] 等大型语言模型（Large Language Models, LLMs）已经彻底变革了自然语言处理（NLP）领域，使得智能体在多样化应用场景中展现出强大的能力。这些模型在提高效率与生产力方面表现突出，推动了下游任务的发展，包括问答（QA）、抽象摘要、对话生成以及数据到文本生成等。 尽管取得了突破性进展，LLM 仍面临一个关键挑战——幻觉（hallucination）。幻觉指的是 LLM 生成的内容虽然流畅且语法正确，但在事实层面上不准确或缺乏外部证据支撑 [4], [5]。这种现象可能导致严重后果，包括虚假信息的传播和隐私泄露。与传统人工智能（AI）系统通常针对特定任务数据进行训练不同，LLMs 使用了大规模的在线文本语料进行训练 [6]。这种广泛覆盖虽然带来了出色的连贯性与流畅性，但同时也增加了事实错误的风险。LLMs 可能反映训练数据中潜在的偏见，误解含糊的提示，或为了迎合输入的潜在意图而改变信息 [7]。当用户在医疗数据摘要、客户服务对话、金融分析报告或法律咨询等敏感场景中依赖语言生成时，这种问题尤其令人担忧。 要理解幻觉的根本成因，需要从 LLM 的开发生命周期各阶段进行系统分析——从预训练到生成路径的整个过程。这种分析不仅有助于揭示幻觉的来源，也为幻觉检测与缓解技术的开发提供了指导。基于 LLMs 的标准开发流程，我们将其划分为六个阶段：数据收集与准备、模型架构、预训练、微调、评估与推理，并在每一阶段分析导致幻觉的潜在因素，从而全面理解幻觉的产生机制。 此外，我们提出了一个系统的幻觉检测技术分类体系，将现有检测方法分为五类：基于检索、基于不确定性、基于嵌入、基于学习、基于自一致性。研究发现，单一检测方法难以在所有场景中表现优异。例如，基于检索的方法在处理事实性幻觉时表现出色，但高度依赖外部知识的质量；基于学习的方法精度较高，但需要高质量的标注数据；基于不确定性的方法通过模型置信度来减轻数据依赖性，但效果受阈值校准影响较大，且当模型对错误答案信心很高时常无法检测幻觉；基于自一致性的方法能捕捉逻辑与语境矛盾，但对事实性细微错误敏感度不足，且受提示多样性与采样策略影响显著；而基于嵌入的方法在捕获语义差异方面较为稳健，但在跨领域或低资源语言环境中性能可能下降。因此，多方法互补的混合检测方案（如学习结合不确定性，或检索结合学习）是提升检测稳健性与准确性的有前景方向。 同时，我们扩展了现有研究中的幻觉缓解方法分类体系 [8], [9], [10]，将其划分为四大类：基于提示（prompt-based）、基于检索（retrieval-based）、基于推理（reasoning-based）以及基于模型中心的训练与自适应（model-centric training and adaptation-based） 方法。 * 提示式缓解方法通过结构化提示策略引导模型生成更具事实性的内容； * 检索式方法依赖外部知识以提供事实支撑； * 推理式方法（如思维链提示 Chain-of-Thought prompting, CoT 与自一致性方法）增强生成内容的逻辑连贯性与内在一致性； * 模型中心方法通过调整模型架构、修改训练目标或采用特定微调策略以提升模型的固有真实性与可靠性。

研究表明，单一方法难以彻底缓解幻觉，因此结合多种互补策略的混合方法更为有效，尤其是将提示或推理方法与检索式及模型中心式策略相结合的方案。 此外，我们探讨了当前幻觉检测与缓解研究中面临的挑战，并提出未来研究方向。本综述在前人工作的基础上，进一步系统分析了幻觉的成因及针对幻觉检测与缓解的前沿技术。 本综述的主要贡献如下： * 幻觉成因分析：系统分析了从数据收集、架构设计到推理阶段，LLM 全生命周期中的幻觉成因。 * LLM 幻觉分类体系：提出了涵盖幻觉成因、检测与缓解的综合分类框架，并总结了当前最先进（SOTA）研究成果。 * 幻觉检测方法综述：构建了五大类幻觉检测方法的结构化分类，并深入讨论了各类方法的潜力与局限。 * 幻觉缓解方法综述：将幻觉缓解方法分为四大类（提示、检索、推理、模型中心训练与自适应），并详细分析其效果与适用性。 * 数据集与评测指标：系统回顾了用于幻觉检测与缓解的基准数据集与评价指标，并指出其局限性。 * 基于推理的缓解分析：深入分析了包括 CoT、迭代优化、验证链（Chain-of-Verification）等推理增强方法在复杂任务中降低幻觉的作用。 * 多语言与低资源场景研究：探讨了低资源语言下幻觉问题的特殊挑战，并总结了跨语言迁移、多语言微调与提示自适应等缓解策略。

本文其余部分的组织结构如下： 第2节回顾相关综述；第3节介绍幻觉的定义、类型及其在不同自然语言生成任务中的表现；第4节系统分析 LLM 各阶段的幻觉成因；第5节与第6节分别讨论幻觉检测与缓解技术；第7节与第8节介绍用于训练与评估的基准数据集与指标体系；第9节总结当前的开放问题与未来研究方向；第10节给出全文结论。![]