Link prediction for knowledge graphs is the task of predicting missing relationships between entities. Previous work on link prediction has focused on shallow, fast models which can scale to large knowledge graphs. However, these models learn less expressive features than deep, multi-layer models -- which potentially limits performance. In this work, we introduce ConvE, a multi-layer convolutional network model for link prediction, and report state-of-the-art results for several established datasets. We also show that the model is highly parameter efficient, yielding the same performance as DistMult and R-GCN with 8x and 17x fewer parameters. Analysis of our model suggests that it is particularly effective at modelling nodes with high indegree -- which are common in highly-connected, complex knowledge graphs such as Freebase and YAGO3. In addition, it has been noted that the WN18 and FB15k datasets suffer from test set leakage, due to inverse relations from the training set being present in the test set -- however, the extent of this issue has so far not been quantified. We find this problem to be severe: a simple rule-based model can achieve state-of-the-art results on both WN18 and FB15k. To ensure that models are evaluated on datasets where simply exploiting inverse relations cannot yield competitive results, we investigate and validate several commonly used datasets -- deriving robust variants where necessary. We then perform experiments on these robust datasets for our own and several previously proposed models, and find that ConvE achieves state-of-the-art Mean Reciprocal Rank across all datasets.


翻译:知识图形的链接预测是预测各实体间缺失关系的任务。 以往关于链接预测的工作侧重于浅度、 快速模型,这些模型可以缩进大型知识图表。 然而, 这些模型学习的表达性特征比深度、多层模型低,这可能会限制性能。 在这项工作中,我们引入了ConvE, 一个多层连结网络模型, 用于链接预测, 并报告若干已建立的数据集的最新结果。 我们还显示,该模型具有很高的参数效率, 产生与DistMult和R-GCN相同的性能, 少了8x和17x参数。 对我们的模型的分析表明, 它在高度的建模节点上特别有效 -- 这些高连通性、多层模型(如Freebase和YAAGO3)是常见的。 此外,我们注意到, WN18 和 FB15k 数据集由于测试数据集的反向关系, 这一问题的范围远没有被量化。 我们发现这个问题非常严重, 在高度的模型中, 简单规则的模型和最高级的模型( ) 无法在常规的模型上评估 18, 我们的常规数据在常规模型上, 在常规模型上, 我们的模型上可以找到一些常规数据, 在常规的模型上, 在常规的模型上可以实现结果。

28
下载
关闭预览

相关内容

网络中的链路预测(Link Prediction)是指如何通过已知的网络节点以及网络结构等信息预测网络中尚未产生连边的两个节点之间产生链接的可能性。这种预测既包含了对未知链接(exist yet unknown links)的预测也包含了对未来链接(future links)的预测。该问题的研究在理论和应用两个方面都具有重要的意义和价值 。
因果图,Causal Graphs,52页ppt
专知会员服务
238+阅读 · 2020年4月19日
图卷积神经网络蒸馏知识,Distillating Knowledge from GCN
专知会员服务
94+阅读 · 2020年3月25日
17篇知识图谱Knowledge Graphs论文 @AAAI2020
专知会员服务
167+阅读 · 2020年2月13日
17篇必看[知识图谱Knowledge Graphs] 论文@AAAI2020
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
Capsule Networks解析
机器学习研究会
10+阅读 · 2017年11月12日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Arxiv
20+阅读 · 2019年9月7日
Arxiv
7+阅读 · 2018年8月28日
Arxiv
7+阅读 · 2018年3月21日
VIP会员
Top
微信扫码咨询专知VIP会员