Graph Neural Networks (GNNs) are a promising deep learning approach for circumventing many real-world problems on graph-structured data. However, these models usually have at least one of four fundamental limitations: over-smoothing, over-fitting, difficult to train, and strong homophily assumption. For example, Simple Graph Convolution (SGC) is known to suffer from the first and fourth limitations. To tackle these limitations, we identify a set of key designs including (D1) dilated convolution, (D2) multi-channel learning, (D3) self-attention score, and (D4) sign factor to boost learning from different types (i.e. homophily and heterophily) and scales (i.e. small, medium, and large) of networks, and combine them into a graph neural network, GPNet, a simple and efficient one-layer model. We theoretically analyze the model and show that it can approximate various graph filters by adjusting the self-attention score and sign factor. Experiments show that GPNet consistently outperforms baselines in terms of average rank, average accuracy, complexity, and parameters on semi-supervised and full-supervised tasks, and achieves competitive performance compared to state-of-the-art model with inductive learning task.


翻译:图表神经网络(GNNs)是绕过图表结构数据中许多现实世界问题的一个很有希望的深深学习方法,可以绕过图表结构数据中许多现实世界问题。然而,这些模型通常至少有四个基本限制之一:过度透拍、过度安装、难以培训、难以培训和强烈的同质假设。例如,已知简单图形革命(SGC)受第一级和第四项限制。为了克服这些限制,我们确定了一系列关键设计,包括(D1) 放大变、(D2) 多通道学习、(D3) 自我注意评分和(D4) 标志因素,以促进不同类型(即同质和异性)网络和规模(即小、中、中、大)网络的学习。例如,简单图形集成(SGC)受到第一级和第四项限制。为了克服这些限制,我们从理论上分析模型,并表明它可以通过调整自我注意得分和签署因素来对各种图表过滤器进行(D1),(D2)多通道学习,(D3)自我注意评分和(D3),以及(D4)促进自我注意得分和(DNet(D3)提高自我评分和(D4)的标志因素的标志要素要素要素要素因素,以促进因素因素因素因素因素,促进学习促进学习的促进学习,促进学习的促进学习,促进学习,促进学习的标志因素(即促进学习的标志因素,促进学习的标志因素(即至少至少至少至少至少至少至少至少至少(即促进学习)的标志因素的标志因素的标志因素的标志因素,促进至少至少至少(即至少为促进学习)和标志因素的标志因素(即至少至少至少至少至少至少至少至少至少至少至少至少至少至少至少至少至少至少至少至少至少至少至少至少(即促进学习),从不同类型(即从不同类型(即不同类型(即不同类型(如不同(即同和偏同和偏同和外)中)的学习)的学习)的学习)的学习,从不同(即不同(即不同(即不同(即不同(即有)的学习)和偏同同同同同同同同同同同同同同同同同同同同同同同同同同同同同同同同同同同异)和大)和大)和大)和成

0
下载
关闭预览

相关内容

专知会员服务
52+阅读 · 2020年11月3日
【IJCAJ 2020】多通道神经网络 Multi-Channel Graph Neural Networks
专知会员服务
25+阅读 · 2020年7月19日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
164+阅读 · 2020年3月18日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
ACM MM 2022 Call for Papers
CCF多媒体专委会
5+阅读 · 2022年3月29日
ACM TOMM Call for Papers
CCF多媒体专委会
2+阅读 · 2022年3月23日
【ICIG2021】Latest News & Announcements of the Tutorial
中国图象图形学学会CSIG
3+阅读 · 2021年12月20日
【ICIG2021】Latest News & Announcements of the Workshop
中国图象图形学学会CSIG
0+阅读 · 2021年12月20日
【ICIG2021】Latest News & Announcements of the Plenary Talk1
中国图象图形学学会CSIG
0+阅读 · 2021年11月1日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
LibRec 精选:基于LSTM的序列推荐实现(PyTorch)
LibRec智能推荐
50+阅读 · 2018年8月27日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
21+阅读 · 2021年2月13日
Arxiv
19+阅读 · 2021年2月4日
Arxiv
27+阅读 · 2020年6月19日
Arxiv
17+阅读 · 2019年3月28日
Simplifying Graph Convolutional Networks
Arxiv
12+阅读 · 2019年2月19日
VIP会员
相关资讯
ACM MM 2022 Call for Papers
CCF多媒体专委会
5+阅读 · 2022年3月29日
ACM TOMM Call for Papers
CCF多媒体专委会
2+阅读 · 2022年3月23日
【ICIG2021】Latest News & Announcements of the Tutorial
中国图象图形学学会CSIG
3+阅读 · 2021年12月20日
【ICIG2021】Latest News & Announcements of the Workshop
中国图象图形学学会CSIG
0+阅读 · 2021年12月20日
【ICIG2021】Latest News & Announcements of the Plenary Talk1
中国图象图形学学会CSIG
0+阅读 · 2021年11月1日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
LibRec 精选:基于LSTM的序列推荐实现(PyTorch)
LibRec智能推荐
50+阅读 · 2018年8月27日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
相关论文
Arxiv
21+阅读 · 2021年2月13日
Arxiv
19+阅读 · 2021年2月4日
Arxiv
27+阅读 · 2020年6月19日
Arxiv
17+阅读 · 2019年3月28日
Simplifying Graph Convolutional Networks
Arxiv
12+阅读 · 2019年2月19日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员