开放领域问答(ODQA)已成为信息系统研究的一个关键焦点。现有方法主要遵循两种范式来收集证据:(1)“检索-阅读”范式从外部语料库检索相关文档;(2)“生成-阅读”范式利用大型语言模型(LLMs)生成相关文档。然而,这两种方法都无法完全满足证据的多方面需求。为此,我们提出了LLMQA,一个通用框架,将ODQA过程划分为三个基本步骤:查询扩展、文档选择和答案生成,结合了基于检索和基于生成的证据的优势。由于LLMs展现出在完成各种任务上的出色能力,我们指导LLMs在我们的框架中扮演生成器、重新排序者和评估者等多重角色,将它们整合在ODQA过程中协同工作。此外,我们引入了一种新颖的提示优化算法来细化角色扮演提示,并指导LLMs产生更高质量的证据和答案。在广泛使用的基准测试(NQ, WebQ, 和 TriviaQA)上的大量实验结果表明,LLMQA在答案准确性和证据质量方面都取得了最佳性能,展示了其推进ODQA研究和应用的潜力。