多人工智能任务的改进。隐变量模型提供了一个优雅的框架,以新的功能来增强生成算法。然而,在自然语言处理领域,尚不清楚如何最好地将潜变量与强大且无处不在的语言模型相结合。

本文探索先进的优化方法和潜变量模型的设计,以完成自然语言处理任务。全文共分为三个部分。在第一部分中,我们提出了隐变量语言模型的三种结构。本文讨论了结构化的潜空间,可以结构化为大型知识库(如维基百科)或以潜文本生成过程为特征。在第二部分中,我们深入研究变分推理和优化的主题。本文提出一种新的离散潜变量梯度估计器OVIS。我们发现,即使使用OVIS,优化深度潜变量模型仍然具有挑战性。本文根据经验数据表明,Rényi散度变分推理可以应用于规避一些学习问题。在第三部分中,我们重点解决医疗问答和信息检索任务。实验提示预训练大型语言模型(GPT-3)生成逐步的问题解决方案。本文报告称,在许多情况下,GPT-3可以推理具有挑战性的医学问题。提出了一个新的框架VOD,用于用变分推理学习检索增强语言模型。本文应用VOD来优化由大量维基百科增强的问答系统,并报告了在医疗问答基准上的最先进性能。最后,将得到的模型应用于罕见病诊断领域的信息检索任务。

成为VIP会员查看完整内容
20

相关内容

博士论文是由攻读博士学位的研究生所撰写的学术论文。它要求作者在博士生导师的指导下,选择自己能够把握和驾驭的潜在的研究方向,开辟新的研究领域。由此可见,这就对作者提出了较高要求,它要求作者必须在本学科的专业领域具备大量的理论知识,并对所学专业的理论知识有相当深入的理解和思考,同时还要具有相当水平的独立科学研究能力,能够为在学科领域提出独创性的见解和有价值的科研成果。因而,较之学士论文、硕士论文,博士论文具有更高的学术价值,对学科的发展具有重要的推动作用。
【CMU博士论文】强化学习泛化性与效率研究,206页pdf
专知会员服务
68+阅读 · 2023年2月23日
【MIT博士论文】多模态模型学习语言,138页pdf
专知会员服务
56+阅读 · 2022年12月23日
【MIT博士论文】异构医疗数据表示学习,193页pdf
专知会员服务
54+阅读 · 2022年9月3日
【哥伦比亚大学博士论文】深度概率图建模147页pdf
专知会员服务
85+阅读 · 2021年4月27日
【牛津大学博士论文】解释深度神经网络,134页pdf
专知会员服务
215+阅读 · 2020年10月8日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
22+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
5+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年2月22日
Arxiv
0+阅读 · 2023年2月16日
Arxiv
11+阅读 · 2021年12月8日
Arxiv
103+阅读 · 2021年6月8日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
22+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
5+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员