Abductive reasoning starts from some observations and aims at finding the most plausible explanation for these observations. To perform abduction, humans often make use of temporal and causal inferences, and knowledge about how some hypothetical situation can result in different outcomes. This work offers the first study of how such knowledge impacts the Abductive NLI task -- which consists in choosing the more likely explanation for given observations. We train a specialized language model LMI that is tasked to generate what could happen next from a hypothetical scenario that evolves from a given event. We then propose a multi-task model MTL to solve the Abductive NLI task, which predicts a plausible explanation by a) considering different possible events emerging from candidate hypotheses -- events generated by LMI -- and b) selecting the one that is most similar to the observed outcome. We show that our MTL model improves over prior vanilla pre-trained LMs fine-tuned on Abductive NLI. Our manual evaluation and analysis suggest that learning about possible next events from different hypothetical scenarios supports abductive inference.


翻译:指向性推理从一些观察开始,目的是为这些观察找到最可信的解释。为了实施绑架,人类常常利用时间和因果推论,并了解某些假设情况如何会产生不同的结果。这项工作首次研究了这种知识如何影响Abdusing NLI的任务 -- -- 包括选择对特定观察的更可能的解释。我们训练了一个专门的语言模型LMI,任务是从从从某个特定事件演变的假设情景中产生接下来可能发生的情况。我们然后提出一个多任务MTL模型,以解决Abdusing NLI的任务,其中预测了一种合理的解释,即(a)考虑到从候选假设中产生的不同事件 -- -- LMI产生的事件 -- -- 和(b)选择与观察到的结果最相似的事件。我们显示我们的MTL模型比以前Villa 预先训练的LMS 微调了对Abdusing NLILI的VA改进。我们的人工评估和分析表明,从不同的假设情景中了解可能发生的下一个事件有助于诱拐性推断。

1
下载
关闭预览

相关内容

多任务学习(MTL)是机器学习的一个子领域,可以同时解决多个学习任务,同时利用各个任务之间的共性和差异。与单独训练模型相比,这可以提高特定任务模型的学习效率和预测准确性。多任务学习是归纳传递的一种方法,它通过将相关任务的训练信号中包含的域信息用作归纳偏差来提高泛化能力。通过使用共享表示形式并行学习任务来实现,每个任务所学的知识可以帮助更好地学习其它任务。
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
【ACL2020放榜!】事件抽取、关系抽取、NER、Few-Shot 相关论文整理
深度学习自然语言处理
18+阅读 · 2020年5月22日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【计算机类】期刊专刊/国际会议截稿信息6条
Call4Papers
3+阅读 · 2017年10月13日
最佳实践:深度学习用于自然语言处理(三)
待字闺中
3+阅读 · 2017年8月20日
Arxiv
18+阅读 · 2020年10月9日
Generating Fact Checking Explanations
Arxiv
9+阅读 · 2020年4月13日
Using Scene Graph Context to Improve Image Generation
Paraphrase Generation with Deep Reinforcement Learning
Arxiv
4+阅读 · 2018年4月26日
Arxiv
3+阅读 · 2018年3月2日
VIP会员
相关VIP内容
相关资讯
【ACL2020放榜!】事件抽取、关系抽取、NER、Few-Shot 相关论文整理
深度学习自然语言处理
18+阅读 · 2020年5月22日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【计算机类】期刊专刊/国际会议截稿信息6条
Call4Papers
3+阅读 · 2017年10月13日
最佳实践:深度学习用于自然语言处理(三)
待字闺中
3+阅读 · 2017年8月20日
相关论文
Arxiv
18+阅读 · 2020年10月9日
Generating Fact Checking Explanations
Arxiv
9+阅读 · 2020年4月13日
Using Scene Graph Context to Improve Image Generation
Paraphrase Generation with Deep Reinforcement Learning
Arxiv
4+阅读 · 2018年4月26日
Arxiv
3+阅读 · 2018年3月2日
Top
微信扫码咨询专知VIP会员