【ICML2022】图神经网络的局域数据增强方法

2022 年 7 月 24 日 专知

图神经网络的局域数据增强方法

Local Augmentation for Graph Neural Networks



本文由腾讯 AI Lab 主导,与斯坦福大学,香港科技大学,宾夕法尼亚州立大学合作完成,提出了一种全新的基于条件生成的图神经网络的数据增强方法,可以作为即插即用的模块嵌入到任意图神经网络的建模流程中,从而显著提高模型性能;适用于药物发现、电商推荐、社交网络等广泛的应用场景。


在图结构的数据及任务上,图神经网络(GNN)已取得了引人注目的性能。GNN的关键设计思路在于通过将每个节点的邻域信息进行聚合,来得到对该节点信息量更为丰富的表征。然而,对于仅有少量邻居的节点,如何将其邻域信息进行有效聚合从而得到最优的表征,目前尚未有定论。


针对该问题,本文提出了一种简单而有效的数据增强方法,局域数据增强,即通过学习邻域节点关于中心节点表征的条件概率分布,生成更丰富的特征,来增强GNN的表达能力。局域数据增强是一个具有广泛适用性的框架,可以被即插即用地嵌入到任意的GNN模型中。本方法从学习到的条件概率中采样得到额外的关于每个节点的特征向量,并作为扩充后的数据用于模型的训练。


通过大量实验和分析,我们证明了本方法可以在多种图结构数据和不同图神经网络上带来一致性的效果提升。举例来说,在Cora,Citeseer和Pubmed数据集上,加入了局域数据增强的图卷积神经网络(GCN)和图注意力网络(GAT)在测试时的平均准确率可以分别提升3.4%及1.6%。此外,在大型图数据集OGB上的实验也证明了,我们的方法相比其他在图的特征、结构层面进行数据增强的方法,在图节点分类任务上具有更优的效果。



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“LAGN” 就可以获取【ICML2022】图神经网络的局域数据增强方法》专知下载链接

                       
专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取100000+AI(AI与军事、医药、公安等)主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取100000+AI主题知识资料
登录查看更多
3

相关内容

数据增强在机器学习领域多指采用一些方法(比如数据蒸馏,正负样本均衡等)来提高模型数据集的质量,增强数据。
【ICML2022】深入研究置换敏感的图神经网络
专知会员服务
15+阅读 · 2022年7月31日
【ICML2022】MetAug:通过元特征增强的对比学习
专知会员服务
24+阅读 · 2022年5月20日
专知会员服务
39+阅读 · 2021年8月12日
专知会员服务
35+阅读 · 2021年6月19日
专知会员服务
51+阅读 · 2021年6月14日
专知会员服务
40+阅读 · 2021年6月10日
专知会员服务
34+阅读 · 2021年6月3日
专知会员服务
27+阅读 · 2021年5月21日
专知会员服务
50+阅读 · 2021年5月19日
专知会员服务
106+阅读 · 2020年12月21日
ICML 2022 | 图神经网络的局部增强
PaperWeekly
3+阅读 · 2022年8月4日
【ICML2022】时序自监督视频transformer
专知
1+阅读 · 2022年7月28日
【ICML2022】图神经网络异常检测的再思考
【ICML2022】深入探讨置换敏感图神经网络
【CVPR2022】带噪声标签的少样本学习
专知
1+阅读 · 2022年4月15日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
4+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2022年9月15日
Arxiv
12+阅读 · 2022年4月12日
A Survey of Deep Learning for Scientific Discovery
Arxiv
29+阅读 · 2020年3月26日
Self-Attention Graph Pooling
Arxiv
13+阅读 · 2019年6月13日
Arxiv
13+阅读 · 2019年1月26日
VIP会员
相关VIP内容
【ICML2022】深入研究置换敏感的图神经网络
专知会员服务
15+阅读 · 2022年7月31日
【ICML2022】MetAug:通过元特征增强的对比学习
专知会员服务
24+阅读 · 2022年5月20日
专知会员服务
39+阅读 · 2021年8月12日
专知会员服务
35+阅读 · 2021年6月19日
专知会员服务
51+阅读 · 2021年6月14日
专知会员服务
40+阅读 · 2021年6月10日
专知会员服务
34+阅读 · 2021年6月3日
专知会员服务
27+阅读 · 2021年5月21日
专知会员服务
50+阅读 · 2021年5月19日
专知会员服务
106+阅读 · 2020年12月21日
相关资讯
ICML 2022 | 图神经网络的局部增强
PaperWeekly
3+阅读 · 2022年8月4日
【ICML2022】时序自监督视频transformer
专知
1+阅读 · 2022年7月28日
【ICML2022】图神经网络异常检测的再思考
【ICML2022】深入探讨置换敏感图神经网络
【CVPR2022】带噪声标签的少样本学习
专知
1+阅读 · 2022年4月15日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
4+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
相关论文
Top
微信扫码咨询专知VIP会员