题目:Revisiting Graph Contrastive Learning from the Perspective of Graph Spectrum
作者:Nian Liu, Xiao Wang, Deyu Bo, Chuan Shi, Jian Pei
图对比学习(GCL)旨在通过增广原始图学得节点表征,目前已得到广泛关注。尽管图增广技术已经得到了很大发展,一些基本问题仍未解决:GCL本质上编码了怎样的信息?不同增广背后是否有统一的准则?如果有,是什么样的准则?这些准则又能带给我们怎样的认知?在本文中,我们通过建立GCL和图谱之间的关系来回答上述问题。通过谱域中的一个实验研究,我们首先发现了GCL的一般增广准则(GAME准则),即两个增广图间,高频部分的差异要大于低频部分的差异。这个准则揭示了图对比学习的本质,让我们能回顾当前图增广机制并以此设计新的图增广策略。之后,我们提出对比不变理论,证明GCL能够学得对比视图间的不变信息。结合GAME准则,我们首次揭示了通过GCL学得的表征本质上编码了低频信息,解释了GCL为什么有效。依据该准则,我们提出插件式的谱图对比学习模型(SpCo),并与当前不同的GCL模型相结合,充分验证了模型的有效性。
专知便捷查看
便捷下载,请关注专知公众号(点击上方蓝色专知关注)
后台回复“GCLS” 就可以获取《【NeurIPS2022】图谱视角下的图对比学习》专知下载链接