【NeurIPS2025】SSTAG：面向文本属性图的结构感知自监督学习方法

大规模预训练模型已经彻底革新了自然语言处理（NLP）和计算机视觉（CV）领域，展现出显著的跨领域泛化能力。然而，在图学习中，模型通常依赖于单一的图数据集进行训练，这限制了其在不同图与任务之间迁移知识的能力，同时也严重依赖大量标注数据，在资源受限环境下尤为具有挑战性。与 NLP 和 CV 不同，图结构数据因其固有的异质性而面临独特挑战，包括跨应用的领域特定特征空间和结构多样性。为应对这些挑战，本文提出了一种新颖的面向文本属性图的结构感知自监督学习方法（SSTAG）。通过利用文本作为图学习的统一表示媒介，SSTAG 构建了大语言模型（LLMs）的语义推理能力与图神经网络（GNNs）的结构建模能力之间的桥梁。我们的方法引入了一种双重知识蒸馏框架，将 LLMs 和 GNNs 的知识共同蒸馏到结构感知的多层感知机（MLPs）中，从而提升大规模文本属性图的可扩展性。此外，我们提出了一种内存机制，用于存储典型的图表示，并将其与内存库中的锚点对齐，以整合不变知识，从而增强模型的泛化能力。大量实验结果表明，SSTAG 在跨领域迁移学习任务中优于现有最先进模型，展现出卓越的可扩展性，并在保持竞争性性能的同时有效降低推理成本。