论文浅尝 | 用于低资源条件下知识图谱补全的关系对抗网络

2020 年 3 月 15 日 开放知识图谱

论文作者: 邓淑敏,浙江大学在读博士,研究方向为低资源条件下知识图谱自动化构建关键技术研究。


            


Ningyu Zhang, Shumin Deng, Zhanlin Sun, Jiaoyan Chen, Wei Zhang, Huajun Chen. Relation Adversarial Network for Low Resource Knowledge Graph Completion.

本论文已被WWW 2020接收.

 

论文链接:https://arxiv.org/abs/1911.03091

 

知识图谱补全(Knowledge Graph Completion,KGC),通过链接预测或关系抽取来补充知识图谱缺失的连接,主要困难之一是资源不足问题。KG中存在很多实例很少的关系,而且那些新添加的关系通常没有许多已知的训练样本。比如下图中展示的,KG大部分关系的样本都比较少,呈现出长尾分布,比起样本较多的关系,长尾关系的预测和抽取性能显著降低。(a)关系的链接预测结果与它们在KG中的频率高度相关,KG中频率较高的关系明显优于频率较低的关系;(b)关系抽取的效果,随着每个关系的样本数目减少而下降。本文的任务是在低资源条件下,预测KG中新的三元组,包括链接预测和关系抽取两个子任务。

 

典型的KGC任务中的资源不足问题示例(链接预测、关系抽取)

本文提出了一个加权关系对抗网络(Weighted Relation Adversarial Network,wRAN)的通用框架,该框架利用对抗过程,将从资源丰富的关系中学到的知识/特征,去适应不同但相关的低资源关系。wRAN框架综合考虑了三部分问题:对抗迁移学习(Adversarial Transfer Learning),核心思想是通过对抗性学习过程提取领域不变性特征,该过程能够减少源域和目标域之间的分布差异;关系对抗网络(Relation Adversarial Network),学习通用的关系不变性特征,以此弄清不同关系背后的语言变化因素,并缩小相关关系之间的语言差异;负迁移(Negative Transfer),区别于标准的domain adaption源域和目标域之间的标签空间完全相同且共享,wRAN考虑从多个源关系到一个或多个目标关系的适应,并且考虑了不同的关系可能对迁移产生不同的影响,离群的源关系在与目标关系做判别时可能导致负迁移。比如下图所示,wRAN可以从三个源关系(place_of_death,place_of_birth,country)中学习通用的位置信息,然后将隐含的知识应用于目标关系(place_of_burial)以提高其预测性能,而capital关系则会导致负迁移。

Relation Adaptation示例

具体地说,wRAN框架利用关系判别器来区分来自不同关系的样本,并以此学习从源关系到目标关系易于迁移的关系不变性特征,主要包含三个模块:

(1)实例编码器(Instance Encoder),学习可转移的特征,这些特征可以弄清关系之间的语言变化因素。考虑到模型性能和时间效率,本文使用CNN实现实例编码。其他神经架构,例如RNN和BERT也可以用作编码器。

(2)对抗性关系适应(Adversarial Relation Adaptation),寻找可以区分具有不同关系分布的关系判别器。对抗学习有助于学习一个神经网络,该网络可以将目标样本映射到特征空间,从而使判别器不再将其与源样本区分开。

(3)加权关系适应(Weighed Relation Adaptation),可以识别无关的源关系并自动降低其重要性,以解决负迁移问题并鼓励正迁移。通过两个角度来评估每个源关系/样本对目标关系的重要性:关系间相关性实例迁移能力。并提出关系门控机制,学习和控制细粒度的关系/样本权重。

 

模型架构

本文通过低资源条件下链接预测和关系抽取两种KGC任务评估wRAN的性能。两类任务共享相同的对抗性学习框架,但具有不同类型的实例编码器。前者对一个关系的三元组编码,而后者学习句子特征。

本文的部分实验结果如下。

数据集:

本文的数据集情况

             

链接预测实验:

实体预测的实验结果比较

            

三元组分类的实验结果比较

             

关系抽取实验:

关系抽取的F1值比较(ACE05数据集下标准和部分的关系适应)

             

无监督和监督关系适应的前100、200和500个句子的关系抽取的精度值

             

 

无监督适应的关系抽取的实验结果比较

 

有监督适应的关系抽取的实验结果比较

总而言之,这篇文章研究工作的主要贡献是:

(1)率先提出将对抗迁移学习应用于解决低资源条件下知识图谱补全问题;

(2)提出加权的关系对抗网络(wRAN)框架,利用关系判别器来区分来自不同关系的样本,并以此学习从源关系到目标关系易于迁移的关系不变性特征;

(3)提出一种关系门控机制,可以完全放宽共享标签空间的假设。这种机制可以挑选出离群的源关系/样本,并减轻这些不相关的关系/样本的负迁移,可以在端到端框架中对其进行训练;

(4)实验表明,wRAN框架在低资源条件下的链接预测和关系抽取两个任务上均超过了目前最优模型的性能。

如果对本文的工作感兴趣,欢迎大家阅读原文,也欢迎大家和我们交流。


 


 

OpenKG


开放知识图谱(简称 OpenKG)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

点击阅读原文,进入 OpenKG 博客。

登录查看更多
11

相关内容

【斯坦福大学-论文】实体上下文关系路径的知识图谱补全
17篇知识图谱Knowledge Graphs论文 @AAAI2020
专知会员服务
167+阅读 · 2020年2月13日
专知会员服务
85+阅读 · 2020年1月20日
论文浅尝 | 知识图谱三元组置信度的度量
开放知识图谱
23+阅读 · 2019年5月16日
论文浅尝 | 面向知识图谱补全的共享嵌入神经网络模型
开放知识图谱
31+阅读 · 2019年4月7日
论文浅尝 | 基于知识库的自然语言理解 01#
开放知识图谱
15+阅读 · 2019年2月22日
论文浅尝 | 基于知识库的类型实体和关系的联合抽取
开放知识图谱
35+阅读 · 2018年12月9日
论文浅尝 | 多内容实体和关系联合抽取的对抗训练
开放知识图谱
42+阅读 · 2018年12月4日
论文浅尝 | 基于局内去噪和迁移学习的关系抽取
开放知识图谱
16+阅读 · 2018年12月2日
论文浅尝 | 基于多原型mention向量的文本-实体联合学习
Arxiv
14+阅读 · 2019年11月26日
Arxiv
20+阅读 · 2019年9月7日
Arxiv
7+阅读 · 2018年8月21日
Arxiv
26+阅读 · 2018年2月27日
VIP会员
相关VIP内容
【斯坦福大学-论文】实体上下文关系路径的知识图谱补全
17篇知识图谱Knowledge Graphs论文 @AAAI2020
专知会员服务
167+阅读 · 2020年2月13日
专知会员服务
85+阅读 · 2020年1月20日
相关资讯
论文浅尝 | 知识图谱三元组置信度的度量
开放知识图谱
23+阅读 · 2019年5月16日
论文浅尝 | 面向知识图谱补全的共享嵌入神经网络模型
开放知识图谱
31+阅读 · 2019年4月7日
论文浅尝 | 基于知识库的自然语言理解 01#
开放知识图谱
15+阅读 · 2019年2月22日
论文浅尝 | 基于知识库的类型实体和关系的联合抽取
开放知识图谱
35+阅读 · 2018年12月9日
论文浅尝 | 多内容实体和关系联合抽取的对抗训练
开放知识图谱
42+阅读 · 2018年12月4日
论文浅尝 | 基于局内去噪和迁移学习的关系抽取
开放知识图谱
16+阅读 · 2018年12月2日
论文浅尝 | 基于多原型mention向量的文本-实体联合学习
Top
微信扫码咨询专知VIP会员