论文浅尝 | 时序与因果关系联合推理

2019 年 6 月 23 日 开放知识图谱

论文笔记整理:李昊轩,南京大学硕士,研究方向为知识图谱、自然语言处理。


来源:ACL2018

链接:https://www.aclweb.org/anthology/P18-1212


动机

理解事件之间的时间和因果关系是一项基本的自然语言理解任务。由于原因一定先于结果发生,因此时序关系与因果关系之间存在取值上的联系。在已有工作中较少联合关注这两种关系。本文提出了一种基于整数线性规划(ILP)模型的联合推理框架,通过约束限制了结果中时序和因果的一致性。


贡献点

1. 提出了基于 ILP 模型的时序与因果关系的联合推理框架,包含了以下约束条件:(1)原因必须在时序上先于其结果;(2)时序对称性约束;(3)时序传递性约束

2.  开发了一个用于联合标注数据集。本文通过在 EventCausality 数据集的基础上增加标注时序关系的方法构建了该数据集。


时序和因果联合推理方法

1.  时序关系部分

a)  时序关系部分的推理公式

其中, 表示第 k 个事件-事件、事件-时间表达式对的时序关系标签; 表示第 k 个事件-事件、事件-时间表达式对被预测为标签。该式表示最大化所有事件-事件、事件-时间表达式对的打分之和。

b)  对称性与传递性约束

时序关系标签定义如下表所示:

传递性关系 如下表所示:


对称性与传递性约束定义如下:

c)  增强语言学规则

本文使用了若干先验语言学知识用于限制Y的搜索空间,可以表达为如下形式:

其中,是一组事件-事件、事件-时间表达式对,这些对可以被该语言学规则决定。

2.  包含因果关系的完整模型

其中, 是 W 的搜索空间,依赖于时序关系标签Y,其定义如下:

其中,是因果关系标签集合; 是事件对 (i,j) 的因果关系标签。该约束将因果关系和时序关系联系在一起。

3.  打分函数

时序关系和因果关系均使用 Softmax 打分函数,例如事件-事件对的时序关系打分如下:

对于因果关系,本文特别将词对顺序的先验概率分布加入特征。

4.  将联合推理转换为ILP形式

打分函数:

时序关系对称性和传递性约束:

语言学规则约束:

约束:


实验


1.  在 TB-Dense 数据集上时序关系识别的性能对比实验与ablation实验

2.  在自建数据集上的时序与因果关系识别的性能

已有数据集不能满足要求,因此本文自建数据集用于同时测试时序与因果关系识别两个任务的性能。


总结

本文提出了一种新颖的基于ILP模型的时序与因果联合推理框架TCR ,并且开发了一个新的时序与因果联合标注数据集。实验表明,TCR能够同时显著改善两个任务上的性能。

 



OpenKG


开放知识图谱(简称 OpenKG)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

点击阅读原文,进入 OpenKG 博客。

登录查看更多
33

相关内容

归纳逻辑程序设计(ILP)是机器学习的一个分支,它依赖于逻辑程序作为一种统一的表示语言来表达例子、背景知识和假设。基于一阶逻辑的ILP具有很强的表示形式,为多关系学习和数据挖掘提供了一种很好的方法。International Conference on Inductive Logic Programming系列始于1991年,是学习结构化或半结构化关系数据的首要国际论坛。最初专注于逻辑程序的归纳,多年来,它大大扩展了研究范围,并欢迎在逻辑学习、多关系数据挖掘、统计关系学习、图形和树挖掘等各个方面作出贡献,学习其他(非命题)基于逻辑的知识表示框架,探索统计学习和其他概率方法的交叉点。官网链接:https://ilp2019.org/
近期必读的五篇KDD 2020【图神经网络 (GNN) 】相关论文_Part2
专知会员服务
156+阅读 · 2020年6月30日
因果关联学习,Causal Relational Learning
专知会员服务
178+阅读 · 2020年4月21日
【ICLR2020-Facebook AI】张量分解的时序知识图谱补全
专知会员服务
58+阅读 · 2020年4月14日
【斯坦福大学-论文】实体上下文关系路径的知识图谱补全
论文浅尝 | ICLR2020 - 基于组合的多关系图卷积网络
开放知识图谱
21+阅读 · 2020年4月24日
论文浅尝 | 利用问题生成提升知识图谱问答
开放知识图谱
20+阅读 · 2019年11月5日
论文浅尝 | 面向时序知识图谱推理的循环事件网络
开放知识图谱
76+阅读 · 2019年9月22日
论文浅尝 | GraphIE:基于图的信息抽取框架
开放知识图谱
17+阅读 · 2019年6月2日
论文浅尝 | 一种用于多关系问答的可解释推理网络
开放知识图谱
18+阅读 · 2019年5月21日
论文浅尝 | 使用循环神经网络的联合事件抽取
开放知识图谱
25+阅读 · 2019年4月28日
论文浅尝 | 基于知识库的类型实体和关系的联合抽取
开放知识图谱
35+阅读 · 2018年12月9日
论文浅尝 | 多内容实体和关系联合抽取的对抗训练
开放知识图谱
42+阅读 · 2018年12月4日
Joint Monocular 3D Vehicle Detection and Tracking
Arxiv
8+阅读 · 2018年12月2日
Rapid Customization for Event Extraction
Arxiv
7+阅读 · 2018年9月20日
Arxiv
10+阅读 · 2018年4月19日
Arxiv
6+阅读 · 2018年3月28日
Arxiv
6+阅读 · 2018年2月8日
VIP会员
相关资讯
论文浅尝 | ICLR2020 - 基于组合的多关系图卷积网络
开放知识图谱
21+阅读 · 2020年4月24日
论文浅尝 | 利用问题生成提升知识图谱问答
开放知识图谱
20+阅读 · 2019年11月5日
论文浅尝 | 面向时序知识图谱推理的循环事件网络
开放知识图谱
76+阅读 · 2019年9月22日
论文浅尝 | GraphIE:基于图的信息抽取框架
开放知识图谱
17+阅读 · 2019年6月2日
论文浅尝 | 一种用于多关系问答的可解释推理网络
开放知识图谱
18+阅读 · 2019年5月21日
论文浅尝 | 使用循环神经网络的联合事件抽取
开放知识图谱
25+阅读 · 2019年4月28日
论文浅尝 | 基于知识库的类型实体和关系的联合抽取
开放知识图谱
35+阅读 · 2018年12月9日
论文浅尝 | 多内容实体和关系联合抽取的对抗训练
开放知识图谱
42+阅读 · 2018年12月4日
Top
微信扫码咨询专知VIP会员