Storytelling, whether via fables, news reports, documentaries, or memoirs, can be thought of as the communication of interesting and related events that, taken together, form a concrete process. It is desirable to extract the event chains that represent such processes. However, this extraction remains a challenging problem. We posit that this is due to the nature of the texts from which chains are discovered. Natural language text interleaves a narrative of concrete, salient events with background information, contextualization, opinion, and other elements that are important for a variety of necessary discourse and pragmatics acts but are not part of the principal chain of events being communicated. We introduce methods for extracting this principal chain from natural language text, by filtering away non-salient events and supportive sentences. We demonstrate the effectiveness of our methods at isolating critical event chains by comparing their effect on downstream tasks. We show that by pre-training large language models on our extracted chains, we obtain improvements in two tasks that benefit from a clear understanding of event chains: narrative prediction and event-based temporal question answering. The demonstrated improvements and ablative studies confirm that our extraction method isolates critical event chains.


翻译:叙事方式,无论是通过假说、新闻报道、记录片或回忆录,都可以被视为传递有趣的相关事件,这些有趣的事件共同形成一个具体的过程。我们最好从代表这些过程的事件链中抽取出一个代表这些过程的事件链。然而,这种提取仍然是一个具有挑战性的问题。我们假定,这是由于产生链子的案文的性质造成的。自然语言文本将具体、突出的事件描述与背景信息、背景、观点和其他对各种必要的话语和务实行为很重要但并非所交流事件主要链的一部分的其他因素联系起来。我们采用了从自然语言文本中提取这一主要链条的方法,过滤非专题事件和辅助性句子。我们通过比较关键事件链对下游任务的影响,展示了我们孤立关键事件链的方法的有效性。我们通过在对我们提取链上的大型语言模型进行预先培训,表明我们从对事件链的清楚理解中获益的两项任务得到了改进:叙述性预测和基于事件的时间回答。所显示的改进和缓冲研究证实,我们的提取方法隔离了关键事件链。

0
下载
关闭预览

相关内容

专知会员服务
25+阅读 · 2021年4月2日
深度强化学习策略梯度教程,53页ppt
专知会员服务
175+阅读 · 2020年2月1日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
96+阅读 · 2019年10月9日
已删除
将门创投
7+阅读 · 2018年11月5日
Neural Module Networks for Reasoning over Text
Arxiv
9+阅读 · 2019年12月10日
Arxiv
6+阅读 · 2019年9月4日
VIP会员
相关资讯
已删除
将门创投
7+阅读 · 2018年11月5日
Top
微信扫码咨询专知VIP会员