论文浅尝 | 用于知识图中链接预测的嵌入方法 SimplE

2019 年 4 月 3 日 开放知识图谱
论文浅尝 | 用于知识图中链接预测的嵌入方法 SimplE

论文笔记整理:黄佳程,南京大学硕士生,研究方向为知识图谱、实体消解。



链接:https://papers.nips.cc/paper/7682-simple-embedding-for-link-prediction-in-knowledge-graphs.pdf

动机

张量分解方法被证明是一种有效的用于知识图谱补全的统计关系学习方法。最早提出的张量分解方法为CP分解(canonical Polyadicdocomposition),这种方法为每个实体学习出一个头实体嵌入和一个尾实体嵌入,而头尾嵌入是独立的。这导致了该方法在补全上性能较差。SimplE基于CP方法提出了一种张量分解方法,解决其训练中头尾无关的问题。


亮点

SimplE 的亮点主要包括:

1SimplE可以被看成一种双线性模型,与其他模型相比,它具有完全表达能力,同时冗余参数少。

2SimplE可以通过参数共享的方式将背景知识编码进嵌入中。


概念及模型

1. 

其中 v,w,x3d维向量,v[j], w[j], x[j]分别表示向量v,w,x的第j个分量

2. 图谱中的关系类型(ζ表示正例,ζ’表示反例):

a)       自反性:

b)      对称性:

c)       反对称性:

d)      传递性:

3.       SimplE模型

a) 实体和关系的表示:每个实体e具有两个嵌入h_et_e,分别表示其在头实体和尾实体中的表示,每个关系有两个表示

b) 三元组(e_i,r,e_j)的打分函数:

该打分函数可以看成(e_i,r,e_j)(e_j,r^-1,e_j)CP打分的平均值

c) 在实验中,SimplE-ignr的打分函数仅为第一项CP打分,作为一种对比方法


4. SimplE 模型的学习过程:训练中使用随机梯度下降,返利生成方法和 TransE 相同。优化目标为带L2正则化的负对数似然函数:

5. SimplE 利用背景知识的方法:

a) 对于自反的关系rr^-1,可以通过绑定v_rv_r^-1两个参数

b) 对于反对称关系,可以将v_r^-1绑定成-v_r

c) 对于关系r_1,r_2使得(e_i,r_1,e_j)(e_j,r_2,e_i)总是同时成立,可以绑定两个关系的v_rv_r^-1两个参数

理论分析

1.     SimplE 模型的完全表达能力:当嵌入维数充分大时,SimplE 能够完全表示 ground truth


2. FSTransE 嵌入模型中:1.自反关系总是对称的;2.自反关系总是传递的;3.e1Δ的所有实体具有关系re_2Δ中的一个实体具有关系r,则e2Δ中的所有实体具有关系r。其他变体TransEFTransESTransETransH等也有同样的缺陷。

3.     DistMultComplExCPSimplE都可以看作双线性模型(需要把SimplE的头尾表示拼接作为一个实体的单一嵌入),这时他们关系表示的参数如下图:

4.     ComplEx的参数规模为SimplE2倍,并且存在冗余


实验

1.     实验结果

作者与WN18FB15K在两个基准数据集上进行了比较,结果显示了SimplE都取得了较好的效果。

总结

本文提出了一种简单可解释且具有完全表达能力的双线性模型用于知识图谱补全。文章证明了SimplE模型在实验中性能良好,并且具有编码先验知识的能力。



OpenKG


开放知识图谱(简称 OpenKG)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

点击阅读原文,进入 OpenKG 博客。

登录查看更多
21

相关内容

论文题目: Learning Conceptual-Contextual Embeddings for Medical Text

论文摘要:

对于自然语言理解任务来说,外部知识通常是有用的。本文介绍了一个上下文文本表示模型,称为概念上下文(CC)嵌入,它将结构化的知识合并到文本表示中。与实体嵌入方法不同,文中提到的方法将知识图编码到上下文模型中。就像预先训练好的语言模型一样,CC嵌入可以很容易地在广泛的任务中重用。模型利用语义泛化,有效地编码了庞大的UMLS数据库。电子实验健康记录(EHRs)和医疗文本处理基准表明,而使得模型大大提高了监督医疗NLP任务的性能。

成为VIP会员查看完整内容
0
45
小贴士
相关资讯
ACL 2019开源论文 | 基于Attention的知识图谱关系预测
ICLR 2019 | 基于复杂空间关系旋转的知识表示方法
论文浅尝 | 一种用于多关系问答的可解释推理网络
开放知识图谱
16+阅读 · 2019年5月21日
论文浅尝 | 面向知识图谱补全的共享嵌入神经网络模型
开放知识图谱
30+阅读 · 2019年4月7日
论文浅尝 | 基于属性嵌入的知识图谱间实体对齐方法
开放知识图谱
27+阅读 · 2019年3月26日
论文浅尝 | TuckER:基于张量分解的知识图谱补全
开放知识图谱
28+阅读 · 2019年3月17日
论文浅尝 | 基于多原型mention向量的文本-实体联合学习
论文浅尝 | 基于置信度的知识图谱表示学习框架
开放知识图谱
20+阅读 · 2018年2月27日
相关VIP内容
【AAAI2020知识图谱论文概述】Knowledge Graphs @ AAAI 2020
专知会员服务
105+阅读 · 2020年2月13日
专知会员服务
141+阅读 · 2020年2月13日
相关论文
Liang Yao,Chengsheng Mao,Yuan Luo
15+阅读 · 2019年9月7日
NSCaching: Simple and Efficient Negative Sampling for Knowledge Graph Embedding
Yongqi Zhang,Quanming Yao,Yingxia Shao,Lei Chen
6+阅读 · 2019年1月18日
TTMF: A Triple Trustworthiness Measurement Frame for Knowledge Graphs
Shengbin Jia,Yang Xiang,Xiaojun Chen,Shijia E
6+阅读 · 2018年9月25日
Ivana Balazevic,Carl Allen,Timothy M. Hospedales
5+阅读 · 2018年8月28日
Learning Graph Embeddings from WordNet-based Similarity Measures
Andrey Kutuzov,Alexander Panchenko,Sarah Kohail,Mohammad Dorgham,Oleksiy Oliynyk,Chris Biemann
3+阅读 · 2018年8月16日
Caglar Gulcehre,Misha Denil,Mateusz Malinowski,Ali Razavi,Razvan Pascanu,Karl Moritz Hermann,Peter Battaglia,Victor Bapst,David Raposo,Adam Santoro,Nando de Freitas
8+阅读 · 2018年5月24日
Ghazaleh Beigi,Huan Liu
4+阅读 · 2018年3月16日
Seyed Mehran Kazemi,David Poole
7+阅读 · 2018年2月13日
Srinivas Ravishankar, Chandrahas,Partha Pratim Talukdar
6+阅读 · 2018年1月8日
Armand Joulin,Edouard Grave,Piotr Bojanowski,Maximilian Nickel,Tomas Mikolov
3+阅读 · 2017年10月30日
Top
微信扫码咨询专知VIP会员