图神经网络(GNNs)的快速发展带来了越来越多的新架构和新应用。目前的研究侧重于提出和评估GNNs的具体架构设计,而不是研究GNNs的更一般的设计空间,后者由不同设计维度的笛卡尔积(如层数或聚合函数的类型)组成。此外,GNN设计通常专门针对单个任务,但很少有人努力了解如何快速为新任务或新数据集找到最佳GNN设计。这里我们定义并系统地研究了GNNs的架构设计空间,它包含了超过32种不同的预测任务的315000种不同的设计。我们的方法有三个主要创新:(1)一个通用的GNN设计空间;(2)具有相似度度量的GNN任务空间,这样对于给定的新任务/数据集,我们可以快速识别/传输性能最好的架构;(3)一种高效的设计空间评价方法,可以从大量的模型-任务组合中提取洞察力。我们的主要结果包括:(1)一套设计性能良好的GNN的全面指南;(2)虽然针对不同任务的最佳GNN设计存在显著差异,但GNN任务空间允许在不同任务之间传输最佳设计;(3)利用我们的设计空间发现的模型实现了最先进的性能。总的来说,我们的工作提供了一个原则性和可扩展性的方法,实现了从研究针对特定任务的个体GNN设计到系统地研究GNN设计空间和任务空间的过渡。最后,我们发布了GraphGym,这是一个用于探索不同GNN设计和任务的强大平台。GraphGym具有模块化的GNN实现、标准化的GNN评估和可重复和可扩展的实验管理。
https://arxiv.org/abs/2011.08843
专知便捷查看
便捷下载,请关注专知公众号(点击上方蓝色专知关注)
后台回复“DSGNN” 就可以获取《【NeurIPS 2020】图神经网络GNN架构设计》专知下载链接