题目: Hyperbolic Heterogeneous Information Network Embedding

摘要: 异构信息网络嵌入(Heterogeneous information network, HIN)以将其投射到低维空间为目标,已经引起了相当多的研究关注。现有的HIN嵌入方法主要是在欧几里得空间中保留内部网络结构和语义相关性。然而,一个基本的问题是欧几里得空间是否是HIN的合适的或内在的等距空间?。近年来的研究认为,复杂网络的底层可能具有双曲几何,因为底层的双曲几何可以自然地反映复杂网络的一些特性,如层次结构和幂律结构。在本文中,我们首次尝试将HIN嵌入到双曲空间中。我们分析了两个实际HIN的结构,发现HIN中也存在幂律分布等性质。为此,我们提出了一种新的双曲异构信息网络嵌入模型。具体地说,为了捕获节点之间的结构和语义关系,我们采用元路径引导随机游走对每个节点的序列进行采样。然后利用双曲空间中的距离作为近似度量。双曲距离能满足三角不等式,并能很好地保持HIN中的传递性。我们的模型使节点及其邻域具有小的双曲线距离。进一步推导出有效的优化策略,迭代更新双曲嵌入。实验结果表明,该模型不仅在网络重构和链路预测任务上具有优越的性能,而且在HIN中通过可视化显示了捕获层次结构的能力。

成为VIP会员查看完整内容
0
40

相关内容

题目: Hyperbolic Attention Network

摘要: 最近的方法已经成功地证明了在双曲空间中学习浅层网络参数的优势。我们将双曲几何引入到用于计算不同神经网络结构的注意力机制的嵌入中,从而扩展了这一工作。通过改变object表示的嵌入几何形状,可以在不增加模型参数的情况下能更有效地利用嵌入空间。更重要的是,由于查询的语义距离以指数的速度增长,双曲几何与欧几里得几何相反—可以编码那些object而没有任何干扰。我们的方法在总体上对WMT' 14(英语到德语)的神经机器翻译、图学习(合成和现实世界图任务)和视觉问答(CLEVR)3个任务得到了提升,同时保持神经表征的简洁。

成为VIP会员查看完整内容
0
63

题目: Hyperbolic Graph Attention Network

摘要: 图神经网络(GNN)在图处理方面表现出了优越的性能,近年来引起了人们的广泛关注。然而,大多数现有的GNN模型主要是为欧几里得空间中的图设计的。最近的研究已经证明,图数据显示非欧几里得潜在的解剖学。不幸的是,到目前为止,很少有研究GNN在非欧几里得的设置。为了弥补这一缺陷,本文首次对双曲空间中具有注意机制的GNN进行了研究。双曲GNN的研究有一些独特的挑战:由于双曲空间不是向量空间,不能进行向量操作(如向量的加法、减法和标量乘法)。为了解决这个问题,我们使用回旋向量空间,它提供了一个优雅的代数形式的双曲几何,以转换图的特征;在此基础上,我们提出了基于双曲接近的注意力聚合机制。此外,由于双曲空间中的数学运算比欧几里得空间中的更为复杂,我们进一步设计了一种新的利用对数和指数映射的加速策略来提高模型的效率。通过与其他最先进的基线方法的比较,发现在四个真实数据集上的综合实验结果证明了我们提出的双曲图注意力网络模型的性能。

成为VIP会员查看完整内容
0
79

题目: Heterogeneous Graph Attention Network

摘要: 图神经网络作为一种基于深度学习的功能强大的图表示技术,表现出了优越的性能,引起了广泛的研究兴趣。然而,对于包含不同节点和链接类型的异构图,图神经网络还没有充分考虑到这一点。异构性和丰富的语义信息给异构图的图神经网络设计带来了很大的挑战。最近,深度学习领域最令人兴奋的进展之一是注意力机制,其巨大的潜力在各个领域都得到了很好的展示。本文首先提出了一种基于分层关注的异构图神经网络,包括节点级关注和语义级关注。具体来说,节点级注意的目的是学习节点与其基于元路径的邻居之间的重要性,而语义级注意能够学习不同元路径之间的重要性。通过对节点级和语义级注意的学习,可以充分考虑节点和元路径的重要性。然后将基于元路径的邻域的特征分层聚合,生成节点嵌入。在三个真实世界的异构图上的广泛实验结果不仅显示了我们所提出的模型的优越性能,而且也显示了它对图分析的潜在良好的可解释性。

成为VIP会员查看完整内容
0
61

题目: Low-Dimensional Hyperbolic Knowledge Graph Embeddings

摘要: 知识图谱(KG)嵌入通过学习实体和关系的低维表示,以预测缺失事实。KGs通常具有层次结构和逻辑模式,必须在嵌入空间中保留这些模式。对于分层数据,双曲嵌入方法已显示出高保真度和简洁表示的优势。然而,现有的双曲嵌入方法不能解释KGs中丰富的逻辑模式。在本工作中,我们引入了一类双曲KG嵌入模型,可以同时捕获层次和逻辑模式。我们的方法结合双曲反射和旋转注意力模型复杂的关系模式。在标准KG基准上的实验结果表明,我们的方法在低维的平均倒数(MRR)方面比预先的欧几里得和双曲的工作提高了6.1%。此外,我们观察到不同的几何变换捕捉不同类型的关系,而基于注意的变换则推广到多重关系。在高维情况下,我们的方法在WN18RR和YAGO3-10上分别获得了49.6%和57.7%的最先进的MRR。

成为VIP会员查看完整内容
0
54

知识图谱(KG)嵌入通过学习实体和关系的低维表示来预测缺失的事实。KGs通常表现出层次结构和逻辑模式,必须在嵌入空间中保留这些模式。对于层次数据,双曲线嵌入方法已经显示出高保真和精简表示的前景。然而,现有的双曲线嵌入方法并不能解释KGs中丰富的逻辑模式。在本文中,我们介绍了一类双曲线KG嵌入模型,该模型同时捕获层次模式和逻辑模式。我们的方法结合了双曲线反射和旋转,并注意到模型的复杂关系模式。在标准KG基准上的实验结果表明,我们的方法在低维平均倒数秩(MRR)方面比以前的基于欧几里德和双曲线的方法提高了6.1%。此外,我们观察到不同的几何变换捕获不同类型的关系,而基于注意的变换泛化为多个关系。在高维情况下,我们的方法可以得到最新的MRRs, WN18RR为49.6%,YAGO3-10为57.7%。

成为VIP会员查看完整内容
0
40

论文题目: MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding

摘要: 大量真实世界的图或网络本质上是异构的,涉及节点类型和关系类型的多样性。异构图嵌入是将异构图的丰富结构和语义信息嵌入到低维节点表示中。现有的模型通常在异构图中定义多个元数据来捕获复合关系并指导邻居选择。但是,这些模型要么忽略节点内容特性,要么沿着元路径丢弃中间节点,要么只考虑一个元路径。为了解决这三个局限性,我们提出了一种新的集合图神经网络模型来提高最终性能。具体来说,MAGNN使用了三个主要组件,即,节点内容转换封装输入节点属性,元内聚合合并中间语义节点,元间聚合合并来自多个元的消息。在三个真实世界的异构图数据集上进行了大量的节点分类、节点聚类和链路预测实验,结果表明MAGNN的预测结果比最先进的基线更准确。

成为VIP会员查看完整内容
0
104
小贴士
相关VIP内容
相关资讯
论文荐读:理解图表示学习中的负采样
学术头条
19+阅读 · 2020年5月29日
【NeurIPS2019】图变换网络:Graph Transformer Network
KDD 2019论文解读:异构信息网络上的对抗生成学习
云栖社区
20+阅读 · 2019年8月21日
图嵌入(Graph embedding)综述
人工智能前沿讲习班
390+阅读 · 2019年4月30日
论文浅尝 | 用于知识图中链接预测的嵌入方法 SimplE
开放知识图谱
20+阅读 · 2019年4月3日
论文浅尝 | 基于属性嵌入的知识图谱间实体对齐方法
开放知识图谱
26+阅读 · 2019年3月26日
KDD 18 & AAAI 19 | 异构信息网络表示学习论文解读
PaperWeekly
19+阅读 · 2019年2月25日
网络表示学习综述:一文理解Network Embedding
PaperWeekly
29+阅读 · 2018年8月14日
相关论文
Ines Chami,Adva Wolf,Da-Cheng Juan,Frederic Sala,Sujith Ravi,Christopher Ré
12+阅读 · 2020年5月1日
Heterogeneous Graph Transformer
Ziniu Hu,Yuxiao Dong,Kuansan Wang,Yizhou Sun
21+阅读 · 2020年3月3日
Text Level Graph Neural Network for Text Classification
Lianzhe Huang,Dehong Ma,Sujian Li,Xiaodong Zhang,Houfeng WANG
7+阅读 · 2019年10月6日
Luca Franceschi,Mathias Niepert,Massimiliano Pontil,Xiao He
16+阅读 · 2019年3月28日
A Capsule Network-based Embedding Model for Knowledge Graph Completion and Search Personalization
Dai Quoc Nguyen,Thanh Vu,Tu Dinh Nguyen,Dat Quoc Nguyen,Dinh Phung
7+阅读 · 2019年3月6日
Ivana Balazevic,Carl Allen,Timothy M. Hospedales
7+阅读 · 2018年8月21日
Caglar Gulcehre,Misha Denil,Mateusz Malinowski,Ali Razavi,Razvan Pascanu,Karl Moritz Hermann,Peter Battaglia,Victor Bapst,David Raposo,Adam Santoro,Nando de Freitas
8+阅读 · 2018年5月24日
Mohammad Mehdi Keikha,Maseud Rahgozar,Masoud Asadpour
3+阅读 · 2018年2月19日
Ryan A. Rossi,Nesreen K. Ahmed,Eunyee Koh
10+阅读 · 2018年1月28日
Huan Zhao,Quanming Yao,Yangqiu Song,James Kwok,Dik Lun Lee
10+阅读 · 2018年1月8日
Top