开放领域问答(ODQA)已成为信息系统研究的一个关键焦点。现有方法主要遵循两种范式来收集证据:(1)“检索-阅读”范式从外部语料库检索相关文档;(2)“生成-阅读”范式利用大型语言模型(LLMs)生成相关文档。然而,这两种方法都无法完全满足证据的多方面需求。为此,我们提出了LLMQA,一个通用框架,将ODQA过程划分为三个基本步骤:查询扩展、文档选择和答案生成,结合了基于检索和基于生成的证据的优势。由于LLMs展现出在完成各种任务上的出色能力,我们指导LLMs在我们的框架中扮演生成器、重新排序者和评估者等多重角色,将它们整合在ODQA过程中协同工作。此外,我们引入了一种新颖的提示优化算法来细化角色扮演提示,并指导LLMs产生更高质量的证据和答案。在广泛使用的基准测试(NQ, WebQ, 和 TriviaQA)上的大量实验结果表明,LLMQA在答案准确性和证据质量方面都取得了最佳性能,展示了其推进ODQA研究和应用的潜力。

成为VIP会员查看完整内容
28

相关内容

《大型语言模型持续学习》综述
专知会员服务
74+阅读 · 4月26日
多语言大型语言模型:资源、分类和前沿综述
专知会员服务
47+阅读 · 4月9日
《大型语言模型归因》综述
专知会员服务
69+阅读 · 2023年11月8日
《多模态3D场景理解》最新综述
专知会员服务
185+阅读 · 2023年10月28日
专知会员服务
12+阅读 · 2021年10月6日
【WSDM2021】通过学习中间监督信号改进多跳知识库问答
专知会员服务
10+阅读 · 2021年1月14日
【ICML2020】持续终身学习的神经主题建模
专知会员服务
37+阅读 · 2020年6月22日
「基于通信的多智能体强化学习」 进展综述
时空数据挖掘:综述
专知
24+阅读 · 2022年6月30日
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
【CVPR 2020 Oral】小样本类增量学习
专知
16+阅读 · 2020年6月26日
国家自然科学基金
11+阅读 · 2017年12月31日
国家自然科学基金
41+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
37+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
15+阅读 · 2013年12月31日
Arxiv
155+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
395+阅读 · 2023年3月31日
Arxiv
66+阅读 · 2023年3月26日
Arxiv
137+阅读 · 2023年3月24日
Arxiv
19+阅读 · 2023年3月17日
VIP会员
相关VIP内容
《大型语言模型持续学习》综述
专知会员服务
74+阅读 · 4月26日
多语言大型语言模型:资源、分类和前沿综述
专知会员服务
47+阅读 · 4月9日
《大型语言模型归因》综述
专知会员服务
69+阅读 · 2023年11月8日
《多模态3D场景理解》最新综述
专知会员服务
185+阅读 · 2023年10月28日
专知会员服务
12+阅读 · 2021年10月6日
【WSDM2021】通过学习中间监督信号改进多跳知识库问答
专知会员服务
10+阅读 · 2021年1月14日
【ICML2020】持续终身学习的神经主题建模
专知会员服务
37+阅读 · 2020年6月22日
相关基金
国家自然科学基金
11+阅读 · 2017年12月31日
国家自然科学基金
41+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
37+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
15+阅读 · 2013年12月31日
微信扫码咨询专知VIP会员