【ACL2020-斯坦福】低维双曲知识图谱嵌入,Low-Dimensional Hyperbolic KGE

2020 年 5 月 6 日 专知
【ACL2020-斯坦福】低维双曲知识图谱嵌入,Low-Dimensional Hyperbolic KGE

https://arxiv.org/abs/2005.00545

知识图谱(KG)嵌入通过学习实体和关系的低维表示来预测缺失的事实。KGs通常表现出层次结构和逻辑模式,必须在嵌入空间中保留这些模式。对于层次数据,双曲线嵌入方法已经显示出高保真和精简表示的前景。然而,现有的双曲线嵌入方法并不能解释KGs中丰富的逻辑模式。在本文中,我们介绍了一类双曲线KG嵌入模型,该模型同时捕获层次模式和逻辑模式。我们的方法结合了双曲线反射和旋转,并注意到模型的复杂关系模式。在标准KG基准上的实验结果表明,我们的方法在低维平均倒数秩(MRR)方面比以前的基于欧几里德和双曲线的方法提高了6.1%。此外,我们观察到不同的几何变换捕获不同类型的关系,而基于注意的变换泛化为多个关系。在高维情况下,我们的方法可以得到最新的MRRs, WN18RR为49.6%,YAGO3-10为57.7%。


专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“HKGE” 可以获取低维双曲知识图谱嵌入,Low-Dimensional Hyperbolic KGE》专知下载链接索引

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
5

相关内容

主题: Low-Dimensional Hyperbolic Knowledge Graph Embeddings

摘要: 知识图谱(KG)嵌入学习实体和关系的低维表示,以预测缺失的内容。 KG通常表现出必须保留在嵌入空间中的分层和逻辑模式。对于分层数据,双曲线嵌入方法已显示出对高保真和简约表示的希望。但是,现有的双曲线嵌入方法无法解决KG中的丰富逻辑模式。在这项工作中,我们介绍了一类双曲KG嵌入模型,该模型同时捕获层次结构和逻辑模式。我们的方法将双曲线反射和旋转结合在一起,以注意对复杂的关系模式进行建模。在标准KG基准上的实验结果表明,我们的方法在较低维度上的平均倒数排名(MRR)比以前的基于欧几里德和双曲线的方法提高了6.1%。此外,我们观察到,不同的几何变换捕获不同类型的关系,而基于注意力的变换则泛化为多个关系。在高维度上,我们的方法在WN18RR上产生了49.6%的最新技术水平,在YAGO3-10上产生了57.7%的最新技术水平。

成为VIP会员查看完整内容
0
33

题目: Hyperbolic Heterogeneous Information Network Embedding

摘要: 异构信息网络嵌入(Heterogeneous information network, HIN)以将其投射到低维空间为目标,已经引起了相当多的研究关注。现有的HIN嵌入方法主要是在欧几里得空间中保留内部网络结构和语义相关性。然而,一个基本的问题是欧几里得空间是否是HIN的合适的或内在的等距空间?。近年来的研究认为,复杂网络的底层可能具有双曲几何,因为底层的双曲几何可以自然地反映复杂网络的一些特性,如层次结构和幂律结构。在本文中,我们首次尝试将HIN嵌入到双曲空间中。我们分析了两个实际HIN的结构,发现HIN中也存在幂律分布等性质。为此,我们提出了一种新的双曲异构信息网络嵌入模型。具体地说,为了捕获节点之间的结构和语义关系,我们采用元路径引导随机游走对每个节点的序列进行采样。然后利用双曲空间中的距离作为近似度量。双曲距离能满足三角不等式,并能很好地保持HIN中的传递性。我们的模型使节点及其邻域具有小的双曲线距离。进一步推导出有效的优化策略,迭代更新双曲嵌入。实验结果表明,该模型不仅在网络重构和链路预测任务上具有优越的性能,而且在HIN中通过可视化显示了捕获层次结构的能力。

成为VIP会员查看完整内容
0
39

题目: Hyperbolic Graph Attention Network

摘要: 图神经网络(GNN)在图处理方面表现出了优越的性能,近年来引起了人们的广泛关注。然而,大多数现有的GNN模型主要是为欧几里得空间中的图设计的。最近的研究已经证明,图数据显示非欧几里得潜在的解剖学。不幸的是,到目前为止,很少有研究GNN在非欧几里得的设置。为了弥补这一缺陷,本文首次对双曲空间中具有注意机制的GNN进行了研究。双曲GNN的研究有一些独特的挑战:由于双曲空间不是向量空间,不能进行向量操作(如向量的加法、减法和标量乘法)。为了解决这个问题,我们使用回旋向量空间,它提供了一个优雅的代数形式的双曲几何,以转换图的特征;在此基础上,我们提出了基于双曲接近的注意力聚合机制。此外,由于双曲空间中的数学运算比欧几里得空间中的更为复杂,我们进一步设计了一种新的利用对数和指数映射的加速策略来提高模型的效率。通过与其他最先进的基线方法的比较,发现在四个真实数据集上的综合实验结果证明了我们提出的双曲图注意力网络模型的性能。

成为VIP会员查看完整内容
0
77

题目: Multi-relational Poincaré Graph Embeddings

摘要: 双曲嵌入最近在机器学习中获得了关注,因为它们能够比欧几里得类似物更准确和简洁地表示层次数据。然而,多关系知识图谱经常显示多个同时的层次结构,这是目前的双曲模型没有捕捉到的。为了解决这个问题,我们提出了一个模型,在双曲空间的庞加莱球模型中嵌入多关系图数据。我们的多关系庞加莱模型(MuRP)通过Mobius矩阵向量乘法和Mobius加法学习特定关系参数来转换实体嵌入。在WN18RR层次知识图上的实验表明,我们的庞加莱嵌入方法在链路预测任务上优于欧氏嵌入方法和现有的嵌入方法,特别是在低维的情况下。

成为VIP会员查看完整内容
0
34

题目: Low-Dimensional Hyperbolic Knowledge Graph Embeddings

摘要: 知识图谱(KG)嵌入通过学习实体和关系的低维表示,以预测缺失事实。KGs通常具有层次结构和逻辑模式,必须在嵌入空间中保留这些模式。对于分层数据,双曲嵌入方法已显示出高保真度和简洁表示的优势。然而,现有的双曲嵌入方法不能解释KGs中丰富的逻辑模式。在本工作中,我们引入了一类双曲KG嵌入模型,可以同时捕获层次和逻辑模式。我们的方法结合双曲反射和旋转注意力模型复杂的关系模式。在标准KG基准上的实验结果表明,我们的方法在低维的平均倒数(MRR)方面比预先的欧几里得和双曲的工作提高了6.1%。此外,我们观察到不同的几何变换捕捉不同类型的关系,而基于注意的变换则推广到多重关系。在高维情况下,我们的方法在WN18RR和YAGO3-10上分别获得了49.6%和57.7%的最先进的MRR。

成为VIP会员查看完整内容
0
54

题目: Hyperbolic Image Embeddings

摘要: 诸如图像分类、图像检索和小样本学习等计算机视觉任务目前主要由欧几里德和球面嵌入来完成,因此关于类属性或相似度的最终决定是使用线性超平面、欧几里德距离或球面测地线距离(余弦相似度)来做出的。在这项工作中,我们证明了在许多实际场景中,双曲线嵌入提供了一个更好的选择。

成为VIP会员查看完整内容
0
22
小贴士
相关论文
Efficiently Embedding Dynamic Knowledge Graphs
Tianxing Wu,Arijit Khan,Huan Gao,Cheng Li
10+阅读 · 2019年10月15日
HyperKG: Hyperbolic Knowledge Graph Embeddings for Knowledge Base Completion
Prodromos Kolyvakis,Alexandros Kalousis,Dimitris Kiritsis
5+阅读 · 2019年8月17日
Younjoo Seo,Andreas Loukas,Nathanaël Perraudin
4+阅读 · 2019年6月5日
Embedding Logical Queries on Knowledge Graphs
William L. Hamilton,Payal Bajaj,Marinka Zitnik,Dan Jurafsky,Jure Leskovec
3+阅读 · 2019年2月19日
Ivana Balazevic,Carl Allen,Timothy M. Hospedales
5+阅读 · 2018年8月28日
Caglar Gulcehre,Misha Denil,Mateusz Malinowski,Ali Razavi,Razvan Pascanu,Karl Moritz Hermann,Peter Battaglia,Victor Bapst,David Raposo,Adam Santoro,Nando de Freitas
8+阅读 · 2018年5月24日
Wenhu Chen,Wenhan Xiong,Xifeng Yan,William Wang
14+阅读 · 2018年4月5日
Liwei Cai,William Yang Wang
5+阅读 · 2018年2月20日
Top