图神经网络的局域数据增强方法

Local Augmentation for Graph Neural Networks

本文由腾讯 AI Lab 主导,与斯坦福大学,香港科技大学,宾夕法尼亚州立大学合作完成,提出了一种全新的基于条件生成的图神经网络的数据增强方法,可以作为即插即用的模块嵌入到任意图神经网络的建模流程中,从而显著提高模型性能;适用于药物发现、电商推荐、社交网络等广泛的应用场景。

在图结构的数据及任务上,图神经网络(GNN)已取得了引人注目的性能。GNN的关键设计思路在于通过将每个节点的邻域信息进行聚合,来得到对该节点信息量更为丰富的表征。然而,对于仅有少量邻居的节点,如何将其邻域信息进行有效聚合从而得到最优的表征,目前尚未有定论。

针对该问题,本文提出了一种简单而有效的数据增强方法,局域数据增强,即通过学习邻域节点关于中心节点表征的条件概率分布,生成更丰富的特征,来增强GNN的表达能力。局域数据增强是一个具有广泛适用性的框架,可以被即插即用地嵌入到任意的GNN模型中。本方法从学习到的条件概率中采样得到额外的关于每个节点的特征向量,并作为扩充后的数据用于模型的训练。

通过大量实验和分析,我们证明了本方法可以在多种图结构数据和不同图神经网络上带来一致性的效果提升。举例来说,在Cora,Citeseer和Pubmed数据集上,加入了局域数据增强的图卷积神经网络(GCN)和图注意力网络(GAT)在测试时的平均准确率可以分别提升3.4%及1.6%。此外,在大型图数据集OGB上的实验也证明了,我们的方法相比其他在图的特征、结构层面进行数据增强的方法,在图节点分类任务上具有更优的效果。

成为VIP会员查看完整内容
30

相关内容

国际机器学习大会(International Conference on Machine Learning,简称ICML ) 是由国际机器学习学会(IMLS)主办的机器学习国际顶级会议,也是CCF-A类学术会议。ICML 2022 共收到5630 投稿,接收1117 篇 short oral,118篇 long oral,录用率为21.94%。
【ICML2022】深入研究置换敏感的图神经网络
专知会员服务
15+阅读 · 2022年7月31日
【ICML2022】MetAug:通过元特征增强的对比学习
专知会员服务
24+阅读 · 2022年5月20日
CIKM2021 | 异质图上的图神经网络对比预训练
专知会员服务
15+阅读 · 2021年11月8日
专知会员服务
38+阅读 · 2021年6月19日
专知会员服务
52+阅读 · 2021年6月14日
专知会员服务
40+阅读 · 2021年6月10日
专知会员服务
95+阅读 · 2021年5月25日
专知会员服务
29+阅读 · 2021年5月21日
专知会员服务
50+阅读 · 2021年5月19日
专知会员服务
107+阅读 · 2020年12月21日
ICML 2022 | 图神经网络的局部增强
PaperWeekly
3+阅读 · 2022年8月4日
一文归纳AI数据增强之法
极市平台
2+阅读 · 2022年1月11日
从顶会论文看多模态预训练研究进展
专知
3+阅读 · 2021年12月24日
GNN + Transformer = GraphFormers
图与推荐
6+阅读 · 2021年11月24日
图神经网络+对比学习,下一步去哪?
图与推荐
1+阅读 · 2021年10月29日
ICML2020 图神经网络的预训练
图与推荐
12+阅读 · 2020年4月4日
【CVPR2019】弱监督图像分类建模
深度学习大讲堂
38+阅读 · 2019年7月25日
图神经网络综述:模型与应用
PaperWeekly
197+阅读 · 2018年12月26日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
5+阅读 · 2013年12月31日
国家自然科学基金
8+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年9月15日
Arxiv
66+阅读 · 2022年4月13日
Arxiv
12+阅读 · 2022年4月12日
Arxiv
57+阅读 · 2021年5月3日
Arxiv
27+阅读 · 2020年6月19日
A Survey of Deep Learning for Scientific Discovery
Arxiv
29+阅读 · 2020年3月26日
Self-Attention Graph Pooling
Arxiv
13+阅读 · 2019年6月13日
VIP会员
相关VIP内容
【ICML2022】深入研究置换敏感的图神经网络
专知会员服务
15+阅读 · 2022年7月31日
【ICML2022】MetAug:通过元特征增强的对比学习
专知会员服务
24+阅读 · 2022年5月20日
CIKM2021 | 异质图上的图神经网络对比预训练
专知会员服务
15+阅读 · 2021年11月8日
专知会员服务
38+阅读 · 2021年6月19日
专知会员服务
52+阅读 · 2021年6月14日
专知会员服务
40+阅读 · 2021年6月10日
专知会员服务
95+阅读 · 2021年5月25日
专知会员服务
29+阅读 · 2021年5月21日
专知会员服务
50+阅读 · 2021年5月19日
专知会员服务
107+阅读 · 2020年12月21日
相关资讯
ICML 2022 | 图神经网络的局部增强
PaperWeekly
3+阅读 · 2022年8月4日
一文归纳AI数据增强之法
极市平台
2+阅读 · 2022年1月11日
从顶会论文看多模态预训练研究进展
专知
3+阅读 · 2021年12月24日
GNN + Transformer = GraphFormers
图与推荐
6+阅读 · 2021年11月24日
图神经网络+对比学习,下一步去哪?
图与推荐
1+阅读 · 2021年10月29日
ICML2020 图神经网络的预训练
图与推荐
12+阅读 · 2020年4月4日
【CVPR2019】弱监督图像分类建模
深度学习大讲堂
38+阅读 · 2019年7月25日
图神经网络综述:模型与应用
PaperWeekly
197+阅读 · 2018年12月26日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
5+阅读 · 2013年12月31日
国家自然科学基金
8+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
相关论文
Arxiv
0+阅读 · 2022年9月15日
Arxiv
66+阅读 · 2022年4月13日
Arxiv
12+阅读 · 2022年4月12日
Arxiv
57+阅读 · 2021年5月3日
Arxiv
27+阅读 · 2020年6月19日
A Survey of Deep Learning for Scientific Discovery
Arxiv
29+阅读 · 2020年3月26日
Self-Attention Graph Pooling
Arxiv
13+阅读 · 2019年6月13日
微信扫码咨询专知VIP会员