IJCAI2021 ｜课程对比图表示学习

图结构数据，如社交网络、蛋白质相互作用机制和金融网络，在现实世界场景中无处不在。最近，人们普遍认识到，图数据的适当表示对于统计或机器学习模型的学习性能至关重要，因此，在学习低维表示模型方面前人已经做了大量的工作。迄今为止，图表示学习在社交网络分析和推荐系统等领域取得了显著的成功。目前大多数图表示学习方法都是针对单个图的节点级表示进行学习。然而，在实践应用中，各种应用需要提取整个图的表示，例如在药物和材料发现中预测分子特性，以及在生物网络中预测蛋白质功能。因此，近年来，图级表示学习也吸引了大量的关注。这些方法设计了一种消息传递和聚合算法来获得节点嵌入，然后使用池化机制以有监督的方式获得整个图的表示。然而，在许多实际应用中，标签数据是非常有限和昂贵的。例如，在化学领域，标签的获取通常采用昂贵的密度泛函理论计算。因此，以无监督或自监督的方式学习整个图的表示变得越来越重要。最近，在自然语言处理和计算机视觉领域取得巨大成功的背景下，基于自监督对比学习的图级表示学习受到了广泛关注。具体来说，这些方法的基本思想是，使用对比损失将来自同一实例的正样本对映射到彼此接近的位置，而来自不同实例的负样本对嵌入到彼此远离的位置，从而产生强大的可迁移表示。在将对比学习应用于图时，需要仔细考虑两个关键问题：一个是如何在图上构造正样本对，另一个是如何有效地选择和训练负样本对。这两个因素在本质上决定了图对比学习的成功。目前的大多数工作都集中在如何构造正样本对上，并设计不同的图增广策略，如子图扩展等。然而，在如何有效的负样本选择和训练策略方面几乎没有做出什么进步，而事实上，如何有效地处理负样本对对比学习的泛化性能至关重要。这一要求非常具有挑战性，因为在对比学习环境中，标签信息是未知的，因此不可能采用现有的使用标签信息的负采样策略。目前，大多数对比方法都是在训练过程中随机选取负样本。然而，不同的负样本在训练中发挥着不同的作用，产生着不同的影响。具体来说，对于一个特定的样本，其负样本的难度是不同的，并且这些负样本在不同的训练周期中发挥着不同的作用。例如，较困难的负样本在训练后期起着重要作用。因此，我们需要根据训练过程中的困难考虑采样负样本的顺序，特别是在没有标签信息的情况下，这一问题变得更具挑战性。在本文中，我们试图解决上述挑战------通过提出一个用于图形级表示的课程对比学习框架来解决这一问题。特别地，我们首先介绍了四种用于构造正样本对的图扩充，并使用评分函数来度量训练数据集中负样本的难度。效仿人类的学习过程，我们在学习新模型时应从简单样本开始，然后逐步学习困难样本。因此，我们将负样本从简单到困难进行排序。此外，我们还设计了一个步长函数来规划如何将负样本引入训练过程。最后，我们利用一个流行的对比损失函数来优化我们的模型。与目前最先进的自监督图级表示学习方法相比，我们的方法不仅取得了更好的整体性能，而且减少了训练时间。

我们的贡献总结如下：