【ICML2021】图对比学习自动化

图结构数据的自监督学习最近引起了从无标记图学习可泛化、可迁移移和鲁棒表示的兴趣。其中，图对比学习(GraphCL)以良好的表征学习性能出现。不幸的是，与图像数据不同的是，GraphCL的有效性依赖于特定的数据扩展，由于图数据的多样性，必须根据经验或反复试验的规则手动选择每个数据集。这极大地限制了GraphCL更普遍的适用性。为了填补这一关键空白，本文提出了一个统一的双层优化框架，在对特定图形数据执行GraphCL时自动、自适应、动态地选择数据增强。联合增强优化(JOint Augmentation Optimization, JOAO)的通用框架被实例化为最小最大化优化。JOAO所做的增强的选择通常与从手工调优中观察到的以前的“最佳实践”一致:但现在已经自动化，更加灵活和通用。此外，我们提出了一种新的增强感知投影头机制，在每个训练步骤中，通过选择不同的投影头对应不同的增强来路由输出特征。大量实验表明，JOAO在不同规模和类型的多个图数据集上的性能与最先进的竞争对手(包括GraphCL)相当，有时甚至更好，而无需对增强选择进行任何费力的数据集特定调优。我们在https://github.com/ Shen-Lab/GraphCL_Automated发布了代码。

https://arxiv.org/abs/2106.07594