检索增强生成系统中的可信度：综述

摘要—检索增强生成（RAG）已迅速成为大规模语言模型（LLM）开发中的关键范式。尽管当前该领域的大部分研究主要集中在性能优化，尤其是在准确性和效率方面，但RAG系统的可信度仍是一个尚待深入探索的领域。从积极的角度来看，RAG系统有望通过从广泛的外部数据库中提供有用的、最新的知识，增强LLM的能力，从而缓解长期存在的幻觉问题。而从消极的角度来看，如果检索到的信息不合适或使用不当，RAG系统有可能生成不良内容。为了解决这些问题，我们提出了一个统一框架，用于从六个关键维度评估RAG系统的可信度：真实性、鲁棒性、公平性、透明性、问责性和隐私性。在此框架下，我们全面回顾了现有文献中对每个维度的研究。此外，我们针对这六个维度创建了评估基准，并对多种专有和开源模型进行了全面评估。最后，基于我们的调查结果，我们确定了未来研究可能面临的挑战。通过这项工作，我们旨在为未来的研究奠定一个结构化的基础，并提供提升RAG系统在实际应用中可信度的实用见解。

关键词—可信度；大规模语言模型；检索增强生成

1 引言

大规模语言模型（LLM）的出现代表了人工智能，特别是在自然语言处理（NLP）和理解领域的重大进展。随着时间的推移，这些模型从简单的基于规则的系统演变为复杂的深度学习架构，其进步得益于诸如Transformer架构[1]、在多样化数据集上的广泛预训练以及先进的微调技术[2]等创新。这些进展极大地增强了LLM的能力，影响了自动内容生成[3]和高级语言翻译[4]等应用，从而改变了机器对人类语言的解读与生成方式。

尽管取得了这些进展，LLM仍面临持续的“幻觉”挑战，即模型生成看似合理但实际上不正确或无意义的信息[5, 6]。幻觉产生的原因包括训练数据中的偏差[7]以及语言模型的概率性质[8]。在需要高度精确和可靠性的应用场景中，如医疗和法律领域[9]，这一问题尤为关键。为减轻这一问题，检索增强生成（RAG）系统应运而生[10]。RAG系统通过集成外部信息检索机制，确保生成的内容基于事实数据，从而提高LLM输出的准确性和可信度[11]。

随着LLM越来越多地融入金融系统[12]和医疗保健[13]等应用，LLM的可信度已成为一个关键问题。根据各种框架，可信度通过多个关键维度进行评估，包括真实性、安全性、公平性、鲁棒性、隐私性、机器伦理、透明性和问责性[14]。这些维度确保LLM提供准确、无偏见且安全的输出，同时保护用户隐私并符合伦理标准[15]。强化学习（RLHF）[16]、数据过滤[17]和对抗性训练[18]等技术已被用于提高可信度，其中专有模型如GPT-4在某些高风险应用中通常优于开源替代品[19]。随着LLM继续影响关键社会功能，学术界与工业界之间的持续研究与透明、协作努力对于确保其可靠和伦理的部署至关重要[20]。

然而，目前关于RAG系统的研究主要集中于优化检索器和生成器组件以及精炼它们的交互策略[3, 21]。对于这些系统的可信度关注较少[22]。可信度对于RAG系统的实际部署至关重要，尤其是在法律咨询或医疗保健等高风险或敏感应用中，错误可能会产生严重后果[23]。因此，必须确定定义RAG系统可信度的关键要素，并开发评估这些维度的可信度方法[24]。在此背景下，出现了两个主要挑战：（1）定义一个全面的框架，涵盖RAG系统可信度的所有相关方面；（2）设计实际且稳健的评估方法，有效衡量各维度的可信度[25]。 为应对这些挑战，我们提出了一个统一框架，支持对RAG系统可信度的全面分析，框架包括三个关键部分：

RAG系统可信度六个关键维度的定义：如图1所示，我们从六个维度定义了RAG系统的可信度：（1）真实性：通过与可靠来源进行验证，确保生成信息的准确性和真实性。（2）鲁棒性：确保系统对错误、对抗性攻击和其他外部威胁的可靠性。（3）公平性：在检索和生成阶段尽量减少偏见，确保公平的结果。（4）透明性：使RAG系统的过程和决策对用户清晰易懂，促进信任和问责。（5）问责性：实施机制，确保系统的行为和输出负有责任且可追溯。（6）隐私性：在检索和生成过程中保护个人数据和用户隐私。

现有工作的调查：我们对与RAG系统可信度相关的现有文献和研究进行了全面回顾。我们分析了为增强六个关键维度的可信度而提出或实施的各种方法、技术和技术路线。

各种LLM的基准评测和评估：为提供对RAG系统可信度的实际评估，我们构建了一个基准并建立了全面的评估框架。该框架评估了10种不同的LLM，包括专有和开源模型，涵盖各种模型规模和训练策略。该基准为不同模型在实际应用中的可信度表现提供了宝贵的见解。

本次综述的贡献主要有三方面：（1）我们引入了一个统一框架，定义了RAG系统可信度的六个关键维度。（2）我们对现有RAG可信度文献进行了详细回顾，识别了研究空白并突出了有前途的方法。（3）我们建立了一个实用的基准评测框架，并对10个LLM进行了全面评估，为未来RAG系统可信度提升提供了可操作的见解和指南。 可信的RAG系统

一个完整的RAG系统包括三个主要阶段：将外部知识注入生成器，生成器生成答案，以及对生成的答案进行评估。每个阶段都面临与可信性相关的挑战。在外部知识注入阶段，存在注入噪声或私人信息的风险。在答案生成阶段，引入的外部知识可能导致偏见推理，并破坏通过人类反馈强化学习（RLHF）所实现的一致性。最后，在答案评估阶段，生成的答案可能包含事实错误或缺乏足够的外部知识依据。 如图2所示，我们确定了RAG系统可信性的六个关键维度：鲁棒性、公平性、真实性、隐私性、透明性和问责性。对于每个维度，我们将探讨以下几个方面：适用于LLM的一般定义、RAG背景下的具体定义以及详尽的文献回顾。为了更清楚地对相关研究进行分类和总结，我们首先在图3中展示了这些研究的时间线，以确定该领域的趋势。然后，在表1中，我们根据三个标准对每项研究进行了分类：可信性维度、方法类型和对象。以下章节将深入探讨每个可信性维度的细节。