图结构学习是一个成熟的问题,旨在优化适应特定图数据集的图结构,以帮助消息传递神经网络(即GNN)产生有效且鲁棒的节点嵌入。然而,现有模型的普遍限制在于基本的封闭世界假设:测试图与训练图相同。这个前提要求对每个图数据集独立从头开始训练结构学习模型,导致计算成本过高,并可能出现严重的过拟合风险。为了缓解这些问题,本文探索了一个新的方向,即学习一个通用的结构学习模型,可以在开放世界中推广到各种图数据集。我们首先介绍这个新颖问题设置的数学定义,并从概率数据生成的角度描述模型的构建。然后,我们设计了一个通用框架,协调一个图共享的结构学习器和多个图特定的GNN,以捕捉跨数据集的可推广的最佳消息传递拓扑模式。经过良好训练的结构学习器可以直接为未见过的目标图生成适应性结构,而无需任何微调。在不同的数据集和各种具有挑战性的跨图泛化协议中,我们的实验证明,即使在目标图上没有进行训练,所提出的模型:i)显著优于在输入(非优化)拓扑上训练的表达能力强大的GNN;ii)令人惊讶地与独立优化特定目标图的最先进模型表现相当,并且在目标图上训练的速度明显加快了几个数量级。 https://arxiv.org/abs/2306.11264

成为VIP会员查看完整内容
29

相关内容

【KDD2023】基于弱信息的强图神经网络学习
专知会员服务
38+阅读 · 2023年6月4日
【NeurIPS2022】通过模型转换的可解释强化学习
专知会员服务
36+阅读 · 2022年10月4日
【KDD2022】基于对抗性知识蒸馏的深度图神经网络压缩
专知会员服务
23+阅读 · 2022年6月10日
【AAAI2022】混合图神经网络的少样本学习
专知会员服务
44+阅读 · 2021年12月14日
专知会员服务
18+阅读 · 2021年9月6日
专知会员服务
64+阅读 · 2021年7月25日
专知会员服务
37+阅读 · 2021年5月28日
【CVPR2021】基于端到端预训练的视觉-语言表征学习
专知会员服务
37+阅读 · 2021年4月9日
【AAAI2023】基于序图的因果结构强化学习
专知
4+阅读 · 2022年11月25日
NeurIPS'22 | 具有自适应读出的图神经网络
图与推荐
1+阅读 · 2022年11月11日
【NeurIPS2022】具有自适应读出的图神经网络
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
A Survey of Large Language Models
Arxiv
398+阅读 · 2023年3月31日
Arxiv
66+阅读 · 2023年3月26日
VIP会员
相关VIP内容
【KDD2023】基于弱信息的强图神经网络学习
专知会员服务
38+阅读 · 2023年6月4日
【NeurIPS2022】通过模型转换的可解释强化学习
专知会员服务
36+阅读 · 2022年10月4日
【KDD2022】基于对抗性知识蒸馏的深度图神经网络压缩
专知会员服务
23+阅读 · 2022年6月10日
【AAAI2022】混合图神经网络的少样本学习
专知会员服务
44+阅读 · 2021年12月14日
专知会员服务
18+阅读 · 2021年9月6日
专知会员服务
64+阅读 · 2021年7月25日
专知会员服务
37+阅读 · 2021年5月28日
【CVPR2021】基于端到端预训练的视觉-语言表征学习
专知会员服务
37+阅读 · 2021年4月9日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员