Graph convolutional networks (GCNs) have recently become one of the most powerful tools for graph analytics tasks in numerous applications, ranging from social networks and natural language processing to bioinformatics and chemoinformatics, thanks to their ability to capture the complex relationships between concepts. At present, the vast majority of GCNs use a neighborhood aggregation framework to learn a continuous and compact vector, then performing a pooling operation to generalize graph embedding for the classification task. These approaches have two disadvantages in the graph classification task: (1)when only the largest sub-graph structure ($k$-hop neighbor) is used for neighborhood aggregation, a large amount of early-stage information is lost during the graph convolution step; (2) simple average/sum pooling or max pooling utilized, which loses the characteristics of each node and the topology between nodes. In this paper, we propose a novel framework called, dual attention graph convolutional networks (DAGCN) to address these problems. DAGCN automatically learns the importance of neighbors at different hops using a novel attention graph convolution layer, and then employs a second attention component, a self-attention pooling layer, to generalize the graph representation from the various aspects of a matrix graph embedding. The dual attention network is trained in an end-to-end manner for the graph classification task. We compare our model with state-of-the-art graph kernels and other deep learning methods. The experimental results show that our framework not only outperforms other baselines but also achieves a better rate of convergence.


翻译:最近,绝大多数GCN都使用邻里网络和自然语言处理、生物信息学和化学信息学的复杂关系来捕捉各种概念之间的复杂关系。目前,绝大多数GCN都使用邻里聚合框架来学习一个连续和紧凑的矢量,然后进行集中作业,将图嵌入的图集用于分类任务。这些方法在图形分类任务中有两个缺点:(1) 当只有最大的子绘图结构($k$-hop 邻居)用于周边聚合时,在图形共变步骤期间,大量早期统合信息丢失了;(2) 简单的平均/总集合或最大集合被使用,从而失去了每个节点和节点之间的表面学特性。在本文件中,我们建议了一个新的框架,即双重关注图集成网络(DAGCN)来解决这些问题。DAGCN自动地了解了不同悬浮的邻里结构的重要性,然后在图形组合阶段中,没有使用第二个注意的基线部分,而是在图形整合过程中,我们经过培训的图表中,一个经过双向的图表化的图表化结构, 也显示一个经过了其他图表化的图层的图层图层图层,一个我们一般的图层图层的图层图层。

15
下载
关闭预览

相关内容

【ICML2020】持续图神经网络,Continuous Graph Neural Networks
专知会员服务
146+阅读 · 2020年6月28日
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
153+阅读 · 2020年5月26日
【阿尔托大学】图神经网络,Graph Neural Networks,附60页ppt
专知会员服务
180+阅读 · 2020年4月26日
一文读懂图卷积GCN
计算机视觉life
21+阅读 · 2019年12月21日
内涵网络嵌入:Content-rich Network Embedding
我爱读PAMI
4+阅读 · 2019年11月5日
Graph Neural Network(GNN)最全资源整理分享
深度学习与NLP
339+阅读 · 2019年7月9日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
【论文】图上的表示学习综述
机器学习研究会
13+阅读 · 2017年9月24日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
已删除
Arxiv
31+阅读 · 2020年3月23日
Geometric Graph Convolutional Neural Networks
Arxiv
10+阅读 · 2019年9月11日
Signed Graph Attention Networks
Arxiv
7+阅读 · 2019年9月5日
Arxiv
11+阅读 · 2018年10月17日
Arxiv
10+阅读 · 2018年2月4日
VIP会员
相关VIP内容
【ICML2020】持续图神经网络,Continuous Graph Neural Networks
专知会员服务
146+阅读 · 2020年6月28日
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
153+阅读 · 2020年5月26日
【阿尔托大学】图神经网络,Graph Neural Networks,附60页ppt
专知会员服务
180+阅读 · 2020年4月26日
相关资讯
一文读懂图卷积GCN
计算机视觉life
21+阅读 · 2019年12月21日
内涵网络嵌入:Content-rich Network Embedding
我爱读PAMI
4+阅读 · 2019年11月5日
Graph Neural Network(GNN)最全资源整理分享
深度学习与NLP
339+阅读 · 2019年7月9日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
【论文】图上的表示学习综述
机器学习研究会
13+阅读 · 2017年9月24日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
已删除
Arxiv
31+阅读 · 2020年3月23日
Geometric Graph Convolutional Neural Networks
Arxiv
10+阅读 · 2019年9月11日
Signed Graph Attention Networks
Arxiv
7+阅读 · 2019年9月5日
Arxiv
11+阅读 · 2018年10月17日
Arxiv
10+阅读 · 2018年2月4日
Top
微信扫码咨询专知VIP会员