【AAAI2021】图神经网路自监督预训练策略

论文链接：https://yuanfulu.github.io/publication/AAAI-L2PGNN.pdf

该方法的关键点是 L2P-GNN 试图学习在预训练过程中以可迁移先验知识的形式进行微调。为了将局部信息和全局信息都编码为先验信息，研究者进一步为 L2P-GNN 设计了在节点和图级别双重适应（dual adaptation）的机制。最后研究者使用蛋白质图公开集合和书目图的新汇编进行预训练，对各种 GNN 模型的预训练进行了系统的实证研究。实验结果表明，L2P-GNN 能够学习有效且可迁移的先验知识，从而为下游任务提供强大的表示。

总体来说，这篇论文的贡献如下：

首次探索学习预训练 GNN，缓解了预训练与微调目标之间的差异，并且为预训练 GNN 提供了新视角。

针对节点与图级表示，该研究提出完全自监督的 GNN 预训练策略。

针对预训练 GNN，该研究建立了一个新型大规模书目图数据，并且在两个不同领域的数据集上进行了大量实验。实验表明，该研究提出的方法显著优于 SOTA 方法。