【KDD2021】图神经网络的自适应迁移学习

图神经网络(GNNs)被广泛用于学习一种强大的图结构数据表示。最近的研究表明，将知识从自监督任务迁移到下游任务可以进一步改善图的表示。然而，自监督任务与下游任务在优化目标和训练数据上存在内在的差距。传统的预训练方法可能对知识迁移不够有效，因为它们不能适应下游任务。为了解决这一问题，我们提出了一种新的迁移学习范式，该范式可以有效地将自监督任务作为辅助任务来帮助目标任务。在微调阶段，我们的方法将不同的辅助任务与目标任务进行自适应的选择和组合。我们设计了一个自适应辅助损失加权模型，通过量化辅助任务与目标任务之间的一致性来学习辅助任务的权重。此外，我们通过元学习来学习权重模型。我们的方法可以运用于各种迁移学习方法，它不仅在多任务学习中有很好的表现，而且在预训练和微调中也有很好的表现。在多个下游任务上的综合实验表明，所提出的方法能够有效地将辅助任务与目标任务相结合，与现有的方法相比，显著提高了性能。

https://www.zhuanzhi.ai/paper/852db932624d6feeb7bbd32e67772b27