【KDD2024】HiGPT:异构图语言模型

异构图学习旨在捕捉异构图中实体之间复杂的关系和多样的关系语义，以获得有意义的节点和边的表示。近期异构图神经网络（HGNNs）的进展通过考虑关系异质性并使用专门的消息传递函数和聚合规则，达到了最先进的性能。然而，现有的异构图学习框架在泛化到不同的异构图数据集时存在局限性。这些框架大多遵循在同一数据集上进行“预训练”和“微调”的范式，这限制了它们适应新数据和未见数据的能力。这引出了一个问题：“我们能否将异构图模型泛化，使其能够适应在节点标记集和关系类型异质性上存在分布变化的不同下游学习任务？”为了解决这些挑战，我们提出了HiGPT，一种基于异构图指令调优范式的通用大型图模型。我们的框架能够从任意异构图中学习，而无需对下游数据集进行任何微调过程。为了处理异质性中的分布变化，我们引入了一个上下文异构图标记器，捕捉不同异构图中的语义关系，促进模型的适应性。我们在HiGPT中结合了大量感知异质性的图指令，令模型能够有效理解复杂的关系异质性并区分各种类型的图标记。此外，我们引入了“思维混合”（Mixture-of-Thought，MoT）指令增强范式，通过生成多样且信息丰富的指令来缓解数据稀缺问题。通过在各种设置下进行的综合评估，我们提出的框架在泛化性能方面表现出色，超越了当前的领先基准。