Despite improvements in performances on different natural language generation tasks, deep neural models are prone to hallucinating facts that are incorrect or nonexistent. Different hypotheses are proposed and examined separately for different tasks, but no systematic explanations are available across these tasks. In this study, we draw connections between hallucinations and predictive uncertainty in conditional language generation. We investigate their relationship in both image captioning and data-to-text generation and propose a simple extension to beam search to reduce hallucination. Our analysis shows that higher predictive uncertainty corresponds to a higher chance of hallucination. Epistemic uncertainty is more indicative of hallucination than aleatoric or total uncertainties. It helps to achieve better results of trading performance in standard metric for less hallucination with the proposed beam search variant.


翻译:尽管不同自然语言生成任务的业绩有所改进,但深神经模型很容易产生不正确或不存在的幻觉。为不同任务分别提出不同的假设并对其进行研究,但无法对这些任务作出系统的解释。在本研究中,我们将幻觉与有条件语言生成的预测不确定性联系起来。我们在图像字幕和数据到文字生成方面调查它们之间的关系,并提出一个简单的扩展,以进行梁膜搜索,以减少幻觉。我们的分析表明,预测性不确定性的提高相当于幻觉的更大概率。流行性不确定性更能说明幻觉,而不是感性或全部不确定性。它有助于在标准度上取得更好的效果,以降低幻觉,与拟议的梁搜索变异。

0
下载
关闭预览

相关内容

【EMNLP2020】自然语言生成,Neural Language Generation
专知会员服务
38+阅读 · 2020年11月20日
强化学习最新教程,17页pdf
专知会员服务
171+阅读 · 2019年10月11日
已删除
将门创投
5+阅读 · 2019年4月15日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
人工智能 | NIPS 2019等国际会议信息8条
Call4Papers
7+阅读 · 2019年3月21日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
人工智能 | 国际会议/SCI期刊约稿信息9条
Call4Papers
3+阅读 · 2018年1月12日
Adversarial Mutual Information for Text Generation
Arxiv
13+阅读 · 2020年6月30日
Arxiv
4+阅读 · 2019年9月26日
Arxiv
21+阅读 · 2019年8月21日
Arxiv
6+阅读 · 2018年2月28日
VIP会员
Top
微信扫码咨询专知VIP会员