检索增强生成已成为自然语言处理的核心,因为它们在生成事实内容方面的有效性。虽然传统方法采用单次检索,但更多最近的方法已转向多次检索,以执行多跳推理任务。然而,这些策略受到预定义推理步骤的限制,可能导致响应生成的不准确性。本文介绍了MetaRAG,一种将检索增强生成过程与元认知相结合的方法。借鉴认知心理学,元认知允许实体自我反思和批判性评估其认知过程。通过整合元认知,MetaRAG使模型能够监控、评估和规划其响应策略,增强其内省推理能力。通过三步元认知调节管道,模型能够识别初步认知响应中的不足并修正它们。实证评估显示MetaRAG显著优于现有方法。

成为VIP会员查看完整内容
46

相关内容

KnowledGPT:基于知识库的检索和存储访问增强大型语言模型
【ICML2022】知识图谱上逻辑查询的神经符号模型
专知会员服务
27+阅读 · 2022年5月25日
专知会员服务
12+阅读 · 2021年9月8日
专知会员服务
14+阅读 · 2021年7月7日
专知会员服务
14+阅读 · 2021年6月26日
【SIGIR2021】基于嵌入的增量式时序知识图谱补全框架
专知会员服务
60+阅读 · 2021年4月21日
专知会员服务
21+阅读 · 2021年2月6日
【ACMMM2020】零样本语义分割的上下文感知特征生成
专知会员服务
15+阅读 · 2020年8月21日
【ICML2020】持续终身学习的神经主题建模
专知会员服务
36+阅读 · 2020年6月22日
【AAAI2023】用于图对比学习的谱特征增强
专知
18+阅读 · 2022年12月11日
【CVPR2021】跨模态检索的概率嵌入
专知
16+阅读 · 2021年3月2日
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
【KDD2020】图神经网络生成式预训练
专知
20+阅读 · 2020年7月3日
国家自然科学基金
8+阅读 · 2017年12月31日
国家自然科学基金
36+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
29+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
22+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Arxiv
128+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
319+阅读 · 2023年3月31日
Arxiv
53+阅读 · 2023年3月26日
Arxiv
110+阅读 · 2023年3月24日
Arxiv
14+阅读 · 2023年3月17日
VIP会员
相关VIP内容
KnowledGPT:基于知识库的检索和存储访问增强大型语言模型
【ICML2022】知识图谱上逻辑查询的神经符号模型
专知会员服务
27+阅读 · 2022年5月25日
专知会员服务
12+阅读 · 2021年9月8日
专知会员服务
14+阅读 · 2021年7月7日
专知会员服务
14+阅读 · 2021年6月26日
【SIGIR2021】基于嵌入的增量式时序知识图谱补全框架
专知会员服务
60+阅读 · 2021年4月21日
专知会员服务
21+阅读 · 2021年2月6日
【ACMMM2020】零样本语义分割的上下文感知特征生成
专知会员服务
15+阅读 · 2020年8月21日
【ICML2020】持续终身学习的神经主题建模
专知会员服务
36+阅读 · 2020年6月22日
相关基金
国家自然科学基金
8+阅读 · 2017年12月31日
国家自然科学基金
36+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
29+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
22+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员