自监督学习(self-supervised learning)可以被看作是机器学习的一种“理想状态”,模型直接从无标签数据中自行学习,无需标注数据。

VIP内容

论文标题: From Canonical Correlation Analysis to Self-supervised Graph Neural Networks

论文链接: https://proceedings.neurips.cc/paper/2021/hash/00ac8ed3b4327bdd4ebbebcb2ba10a00-Abstract.html

代码链接: https://github.com/hengruizhang98/CCA-SSG

本文提出了一种简单且有效的图上的自监督表示学习方法。与流行的对比学习(contrastive learning)的方法类似,我们首先使用图上的data augmentation来生成输入图的两个视图(views). 然而,和基于样本区分(instance-level discrimination)思想的对比学习不同,我们基于典型相关分析(Canonical Correlation Analysis, CCA)的思想来优化两个view的embedding的相关程度(feature-level regularization). 我们的理论分析表明我们的方法可以被视为信息瓶颈准则(Information Bottleneck Principe)在多视图自监督表示学习(multi-view self-supervised learning)场景下的具体实现. 我们在7个节点分类数据集上的实验表明, 我们的方法能以更快的训练时间,更低的计算开销得到更为优越的性能. 下表是我们的方法与目前主流方法的一个简单对比,其中我们的方法不需要各种多余的设计以及组件,并且有着线性的时空复杂度.图片

成为VIP会员查看完整内容
0
7
参考链接
父主题
Top
微信扫码咨询专知VIP会员