Graph neural network (GNN) has shown superior performance in dealing with graphs, which has attracted considerable research attention recently. However, most of the existing GNN models are primarily designed for graphs in Euclidean spaces. Recent research has proven that the graph data exhibits non-Euclidean latent anatomy. Unfortunately, there was rarely study of GNN in non-Euclidean settings so far. To bridge this gap, in this paper, we study the GNN with attention mechanism in hyperbolic spaces at the first attempt. The research of hyperbolic GNN has some unique challenges: since the hyperbolic spaces are not vector spaces, the vector operations (e.g., vector addition, subtraction, and scalar multiplication) cannot be carried. To tackle this problem, we employ the gyrovector spaces, which provide an elegant algebraic formalism for hyperbolic geometry, to transform the features in a graph; and then we propose the hyperbolic proximity based attention mechanism to aggregate the features. Moreover, as mathematical operations in hyperbolic spaces could be more complicated than those in Euclidean spaces, we further devise a novel acceleration strategy using logarithmic and exponential mappings to improve the efficiency of our proposed model. The comprehensive experimental results on four real-world datasets demonstrate the performance of our proposed hyperbolic graph attention network model, by comparisons with other state-of-the-art baseline methods.


翻译:图表神经网络(GNN)在处理图表方面表现优异,最近引起了相当的研究关注。然而,现有的GNN模型大多主要设计于厄克里地空间的图表。最近的研究证明,图形数据显示的是非厄克里地潜潜潜潜的原子解剖。不幸的是,迄今为止在非厄科里德的设置中,很少有对GNG的研究结果。为了缩小这一差距,本文件首次尝试时,我们用超双球空间的注意机制来研究GNN,以弥补这一差距。对超双球GNN的研究有一些独特的挑战:由于超双曲GNNN的研究表明,由于超双球GNNM的研究有一些独特的挑战:由于超双波空间不是矢量空间,因此无法进行矢量操作(例如,矢量添加、减量和卡利倍增倍倍增倍增)的图形。为了解决这个问题,我们很少在非厄克里德空间的非欧科里德的设置了对GNNNNNNNNNG的研究,这为超偏偏偏偏偏偏偏偏偏的地形空间的注意机制。然后我们提议以超双球近地近的注意机制来收集这些特征的注意机制。此外,我们更进一步在超位的数学空间的数学操作模型模型模型模型的模型操作可能更加复杂化模型模型模型模型模型模型模型比EU化更复杂,利用EUCI基线空间的EUCLPLPLPL- —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— 更 —— —— —— —— 改进—— 改进- 改进—— 改进—— 改进 改进 改进- —— —— —— —— —— 改进 改进 —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— 改进

6
下载
关闭预览

相关内容

图注意力网络(Graph Attention Network,GAT),它通过注意力机制(Attention Mechanism)来对邻居节点做聚合操作,实现了对不同邻居权重的自适应分配,从而大大提高了图神经网络模型的表达能力。
【ICLR 2019】双曲注意力网络,Hyperbolic  Attention Network
专知会员服务
82+阅读 · 2020年6月21日
【ICLR2020-】基于记忆的图网络,MEMORY-BASED GRAPH NETWORKS
专知会员服务
108+阅读 · 2020年2月22日
【NeurIPS2019】图变换网络:Graph Transformer Network
专知会员服务
110+阅读 · 2019年11月25日
内涵网络嵌入:Content-rich Network Embedding
我爱读PAMI
4+阅读 · 2019年11月5日
Graph Neural Network(GNN)最全资源整理分享
深度学习与NLP
339+阅读 · 2019年7月9日
无监督元学习表示学习
CreateAMind
25+阅读 · 2019年1月4日
【推荐】ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
机器学习研究会
20+阅读 · 2017年12月17日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
Capsule Networks解析
机器学习研究会
10+阅读 · 2017年11月12日
【学习】(Python)SVM数据分类
机器学习研究会
6+阅读 · 2017年10月15日
【论文】图上的表示学习综述
机器学习研究会
12+阅读 · 2017年9月24日
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Signed Graph Attention Networks
Arxiv
7+阅读 · 2019年9月5日
Arxiv
15+阅读 · 2019年4月4日
Arxiv
7+阅读 · 2018年8月21日
Arxiv
8+阅读 · 2018年5月24日
Arxiv
9+阅读 · 2018年2月4日
VIP会员
相关资讯
内涵网络嵌入:Content-rich Network Embedding
我爱读PAMI
4+阅读 · 2019年11月5日
Graph Neural Network(GNN)最全资源整理分享
深度学习与NLP
339+阅读 · 2019年7月9日
无监督元学习表示学习
CreateAMind
25+阅读 · 2019年1月4日
【推荐】ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
机器学习研究会
20+阅读 · 2017年12月17日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
Capsule Networks解析
机器学习研究会
10+阅读 · 2017年11月12日
【学习】(Python)SVM数据分类
机器学习研究会
6+阅读 · 2017年10月15日
【论文】图上的表示学习综述
机器学习研究会
12+阅读 · 2017年9月24日
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Signed Graph Attention Networks
Arxiv
7+阅读 · 2019年9月5日
Arxiv
15+阅读 · 2019年4月4日
Arxiv
7+阅读 · 2018年8月21日
Arxiv
8+阅读 · 2018年5月24日
Arxiv
9+阅读 · 2018年2月4日
Top
微信扫码咨询专知VIP会员