Detecting events and their evolution through time is a crucial task in natural language understanding. Recent neural approaches to event temporal relation extraction typically map events to embeddings in the Euclidean space and train a classifier to detect temporal relations between event pairs. However, embeddings in the Euclidean space cannot capture richer asymmetric relations such as event temporal relations. We thus propose to embed events into hyperbolic spaces, which are intrinsically oriented at modeling hierarchical structures. We introduce two approaches to encode events and their temporal relations in hyperbolic spaces. One approach leverages hyperbolic embeddings to directly infer event relations through simple geometrical operations. In the second one, we devise an end-to-end architecture composed of hyperbolic neural units tailored for the temporal relation extraction task. Thorough experimental assessments on widely used datasets have shown the benefits of revisiting the tasks on a different geometrical space, resulting in state-of-the-art performance on several standard metrics. Finally, the ablation study and several qualitative analyses highlighted the rich event semantics implicitly encoded into hyperbolic spaces.


翻译:在自然语言理解中,发现事件及其随时间演变是一项关键任务。最近对事件时间关系提取的神经方法通常会绘制事件,以将事件嵌入Euclidean空间,并训练一个分类器以探测事件对等之间的时间关系。然而,在Euclidean空间的嵌入无法捕捉更富的不对称关系,例如事件时间关系。因此,我们提议将事件嵌入超偏斜空间,这种空间以模拟等级结构为内在导向。我们引入两种方法来编码事件及其在超双曲空间的时间关系。一种方法利用超双曲嵌入来通过简单的几何物理操作直接推断事件关系。在第二种方法中,我们设计了一个由为时间关系提取任务而定制的双向神经单元组成的端到端结构。对广泛使用的数据集的彻底实验评估显示了重新审视不同几何空间的任务的好处,从而导致在若干标准度度空间上进行状态的性表现。最后,“校正”研究和若干定性分析突出了将隐含地编码成色的丰富事件语义。

0
下载
关闭预览

相关内容

【ICLR 2019】双曲注意力网络,Hyperbolic  Attention Network
专知会员服务
82+阅读 · 2020年6月21日
少标签数据学习,54页ppt
专知会员服务
198+阅读 · 2020年5月22日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
【ACL2020放榜!】事件抽取、关系抽取、NER、Few-Shot 相关论文整理
深度学习自然语言处理
18+阅读 · 2020年5月22日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
论文解读 | 基于神经网络的知识推理
PaperWeekly
5+阅读 · 2018年3月8日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
已删除
将门创投
3+阅读 · 2017年11月3日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
Latent Space Modelling of Hypergraph Data
Arxiv
0+阅读 · 2021年11月2日
Query Embedding on Hyper-relational Knowledge Graphs
Arxiv
4+阅读 · 2021年6月17日
Hyperbolic Graph Attention Network
Arxiv
6+阅读 · 2019年12月6日
Arxiv
10+阅读 · 2018年4月19日
Arxiv
10+阅读 · 2017年7月4日
VIP会员
相关资讯
【ACL2020放榜!】事件抽取、关系抽取、NER、Few-Shot 相关论文整理
深度学习自然语言处理
18+阅读 · 2020年5月22日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
论文解读 | 基于神经网络的知识推理
PaperWeekly
5+阅读 · 2018年3月8日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
已删除
将门创投
3+阅读 · 2017年11月3日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
Top
微信扫码咨询专知VIP会员