题目: Heterogeneous Graph Attention Network

摘要: 图神经网络作为一种基于深度学习的功能强大的图表示技术,表现出了优越的性能,引起了广泛的研究兴趣。然而,对于包含不同节点和链接类型的异构图,图神经网络还没有充分考虑到这一点。异构性和丰富的语义信息给异构图的图神经网络设计带来了很大的挑战。最近,深度学习领域最令人兴奋的进展之一是注意力机制,其巨大的潜力在各个领域都得到了很好的展示。本文首先提出了一种基于分层关注的异构图神经网络,包括节点级关注和语义级关注。具体来说,节点级注意的目的是学习节点与其基于元路径的邻居之间的重要性,而语义级注意能够学习不同元路径之间的重要性。通过对节点级和语义级注意的学习,可以充分考虑节点和元路径的重要性。然后将基于元路径的邻域的特征分层聚合,生成节点嵌入。在三个真实世界的异构图上的广泛实验结果不仅显示了我们所提出的模型的优越性能,而且也显示了它对图分析的潜在良好的可解释性。

成为VIP会员查看完整内容
0
63

相关内容

异质信息网络是一种信息网络,包含了节点和边,并且该节点和边具有一种或多种类型,异质信息网络包含了更更丰富的语义信息。

信息网络被定义为一个有向网络图G=(V,E),其中,V是所有实体结点的集合,E是所有关系边的集合。并且存在着一个结点类型的映射函数φ:V→A和一个边类型的映射函数Ψ:E→R,对于每个对象v∈V属于一种特殊的对象类型φ(v)∈A,每个链接e∈E属于一种特殊的关系类型Ψ(e)∈R,那么这种网络类型就是信息网络。当对象类型的种类|A|>1或者关系类型的种类|R|>1时,这种信息网络是异质信息网络,否则,它是一种同质信息网络

图神经网络(GNN)已经在许多具有挑战性的应用中展示了优越的性能,包括小样本学习任务。尽管GNN具有强大的从少量样本中学习和归纳的能力,但随着模型的深入,GNN通常会出现严重的过拟合和过平滑问题,这限制了模型的可扩展性。在这项工作中,我们提出了一个新的注意力GNN来解决这些挑战,通过合并三重注意机制,即节点自我注意,邻居注意和层记忆注意力。我们通过理论分析和实例说明了所提出的注意模块可以改善小样本学习的GNN的原因。广泛的实验表明,在mini-ImageNet 和Tiered-ImageNet数据集上,通过诱导和直推设置,提出的注意力GNN在小样本学习方面优于基于最先进的GNN方法。

成为VIP会员查看完整内容
0
127

题目:

Interpretable and Efficient Heterogeneous Graph Convolutional Network

摘要:

图卷积网络(GCN)在学习图中节点的有效任务特定表示方面取得了非凡的成功。然而,对于异构信息网络(HIN),存在面向hin的GCN方法仍然存在两个不足:(1)不能灵活地探索所有可能的元路径,并提取出对目标对象最有用的元路径,这既影响了有效性,也影响了可解释性; (2)经常需要生成中间的元路径密集图,计算复杂度高。为了解决上述问题,我们提出一种可解释且高效的异构图卷积网络(ei-HGCN)来学习HINs中对象的表示。它被设计为一个层次聚合架构。,首先是对象级聚合,然后是类型级聚合。该结构能够在一定长度范围内从所有可能的元路径中为每个对象自动提取出有用的元路径,具有良好的模型可解释性。避免了中间HIN转换和邻域关注,降低了计算量。在评估所有可能元路径的有用性、它与HINs上的谱图卷积的联系以及它的准线性时间复杂度方面,我们提供了关于ei-HGCN的理论分析。在三个真实网络数据集上的大量实验证明了ei-HGCN比现有方法的优越性。

成为VIP会员查看完整内容
0
44

题目: Hyperbolic Heterogeneous Information Network Embedding

摘要: 异构信息网络嵌入(Heterogeneous information network, HIN)以将其投射到低维空间为目标,已经引起了相当多的研究关注。现有的HIN嵌入方法主要是在欧几里得空间中保留内部网络结构和语义相关性。然而,一个基本的问题是欧几里得空间是否是HIN的合适的或内在的等距空间?。近年来的研究认为,复杂网络的底层可能具有双曲几何,因为底层的双曲几何可以自然地反映复杂网络的一些特性,如层次结构和幂律结构。在本文中,我们首次尝试将HIN嵌入到双曲空间中。我们分析了两个实际HIN的结构,发现HIN中也存在幂律分布等性质。为此,我们提出了一种新的双曲异构信息网络嵌入模型。具体地说,为了捕获节点之间的结构和语义关系,我们采用元路径引导随机游走对每个节点的序列进行采样。然后利用双曲空间中的距离作为近似度量。双曲距离能满足三角不等式,并能很好地保持HIN中的传递性。我们的模型使节点及其邻域具有小的双曲线距离。进一步推导出有效的优化策略,迭代更新双曲嵌入。实验结果表明,该模型不仅在网络重构和链路预测任务上具有优越的性能,而且在HIN中通过可视化显示了捕获层次结构的能力。

成为VIP会员查看完整内容
0
42

题目: Contextualized Graph Attention Network for Recommendation with Item Knowledge Graph

摘要: 近年来,图神经网络(GNN)被应用于知识图谱(KG)的开发。现有的基于GNN的方法在KG中对实体与其本地图上下文之间的依赖关系进行了建模。,但可能无法有效地捕获其非局部图上下文(例如,它的一阶邻居的集合),最相关的高阶邻居集)。在本文中,我们提出了一个新的推荐框架——上下文化的图注意网络(CGAT),它可以显式地利用KG中实体的局部和非局部图上下文信息。特别地,CGAT通过用户特定的图形注意机制捕获本地上下文信息,考虑用户对实体的个性化偏好。此外,CGAT采用了一个有偏随机游走采样过程来提取一个实体的非局部上下文,并利用递归神经网络(RNN)来建模实体与其非局部上下文实体之间的依赖关系。为了捕捉用户对物品的个性化偏好,本文还建立了物品特定注意机制,以模拟目标物品与从用户历史行为中提取的上下文物品之间的依赖关系。在真实数据集上的实验结果验证了CGAT的有效性,并与最新的基于KG的推荐方法进行了比较。

成为VIP会员查看完整内容
0
79

题目: Hyperbolic Graph Attention Network

摘要: 图神经网络(GNN)在图处理方面表现出了优越的性能,近年来引起了人们的广泛关注。然而,大多数现有的GNN模型主要是为欧几里得空间中的图设计的。最近的研究已经证明,图数据显示非欧几里得潜在的解剖学。不幸的是,到目前为止,很少有研究GNN在非欧几里得的设置。为了弥补这一缺陷,本文首次对双曲空间中具有注意机制的GNN进行了研究。双曲GNN的研究有一些独特的挑战:由于双曲空间不是向量空间,不能进行向量操作(如向量的加法、减法和标量乘法)。为了解决这个问题,我们使用回旋向量空间,它提供了一个优雅的代数形式的双曲几何,以转换图的特征;在此基础上,我们提出了基于双曲接近的注意力聚合机制。此外,由于双曲空间中的数学运算比欧几里得空间中的更为复杂,我们进一步设计了一种新的利用对数和指数映射的加速策略来提高模型的效率。通过与其他最先进的基线方法的比较,发现在四个真实数据集上的综合实验结果证明了我们提出的双曲图注意力网络模型的性能。

成为VIP会员查看完整内容
0
79

论文题目: MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding

摘要: 大量真实世界的图或网络本质上是异构的,涉及节点类型和关系类型的多样性。异构图嵌入是将异构图的丰富结构和语义信息嵌入到低维节点表示中。现有的模型通常在异构图中定义多个元数据来捕获复合关系并指导邻居选择。但是,这些模型要么忽略节点内容特性,要么沿着元路径丢弃中间节点,要么只考虑一个元路径。为了解决这三个局限性,我们提出了一种新的集合图神经网络模型来提高最终性能。具体来说,MAGNN使用了三个主要组件,即,节点内容转换封装输入节点属性,元内聚合合并中间语义节点,元间聚合合并来自多个元的消息。在三个真实世界的异构图数据集上进行了大量的节点分类、节点聚类和链路预测实验,结果表明MAGNN的预测结果比最先进的基线更准确。

成为VIP会员查看完整内容
0
104
小贴士
相关资讯
【论文笔记】Graph U-Nets
专知
60+阅读 · 2019年11月25日
【NeurIPS2019】图变换网络:Graph Transformer Network
图嵌入(Graph embedding)综述
人工智能前沿讲习班
403+阅读 · 2019年4月30日
HAN:基于双层注意力机制的异质图深度神经网络
PaperWeekly
33+阅读 · 2019年4月23日
Network Embedding 指南
专知
17+阅读 · 2018年8月13日
图注意力网络
科技创新与创业
31+阅读 · 2017年11月22日
基于注意力机制的图卷积网络
科技创新与创业
63+阅读 · 2017年11月8日
相关论文
Ankit Pal,Muru Selvakumar,Malaikannan Sankarasubbu
40+阅读 · 2020年3月22日
Heterogeneous Graph Transformer
Ziniu Hu,Yuxiao Dong,Kuansan Wang,Yizhou Sun
21+阅读 · 2020年3月3日
Xinyu Fu,Jiani Zhang,Ziqiao Meng,Irwin King
41+阅读 · 2020年2月5日
Heterogeneous Deep Graph Infomax
Yuxiang Ren,Bo Liu,Chao Huang,Peng Dai,Liefeng Bo,Jiawei Zhang
10+阅读 · 2019年11月19日
Text Level Graph Neural Network for Text Classification
Lianzhe Huang,Dehong Ma,Sujian Li,Xiaodong Zhang,Houfeng WANG
8+阅读 · 2019年10月8日
Area Attention
Yang Li,Lukasz Kaiser,Samy Bengio,Si Si
5+阅读 · 2019年5月23日
Factor Graph Attention
Idan Schwartz,Seunghak Yu,Tamir Hazan,Alexander Schwing
6+阅读 · 2019年4月11日
Fengwen Chen,Shirui Pan,Jing Jiang,Huan Huo,Guodong Long
14+阅读 · 2019年4月4日
Ivana Balazevic,Carl Allen,Timothy M. Hospedales
8+阅读 · 2018年10月18日
Lei Sang,Min Xu,Shengsheng Qian,Xindong Wu
6+阅读 · 2018年3月24日
Top
微信扫码咨询专知VIP会员