图提示学习最新综述

大规模“预训练与提示学习”范式展现了卓越的适应性，广泛应用于问答、图像识别、多模态检索等领域。该方法充分利用了大规模预训练模型的潜力，减少了下游数据需求和计算成本，同时增强了模型在各类任务中的适用性。图作为一种多功能的数据结构，能够捕捉实体之间的关系，在社交网络分析、推荐系统和生物图等领域中扮演着关键角色。尽管预训练与提示学习范式在自然语言处理（NLP）和计算机视觉（CV）领域取得了成功，但其在图领域的应用仍处于起步阶段。在图结构化数据中，不仅节点和边的特征往往具有不同的分布，而且拓扑结构也显著不同。这种图数据的多样性可能导致预训练与下游图任务微调之间的模式不兼容或产生差距。我们旨在通过总结缓解这些差异的方法来弥合这一差距。包括探索提示设计方法、比较相关技术、评估应用场景和数据集，并识别未解决的问题和挑战。本综述对该领域的100多篇相关工作进行了分类，总结了通用设计原则和最新应用，包括文本属性图、分子、蛋白质和推荐系统。通过这一广泛的回顾，我们提供了图提示学习的基础性理解，旨在不仅对图挖掘社区产生影响，也为更广泛的通用人工智能（AGI）社区提供参考。本文强调了图提示学习在未来研究和实际应用中的潜力，为这一有前景领域的进步铺平道路。

1 引言

近几十年来，人工智能（AI）的快速发展促进了其在各个领域的广泛应用【1】–【3】。图作为一种独特的数据结构，能够描述实体之间的广泛关系，已在许多现实场景中得到了广泛应用，如社交网络分析【4】–【6】、推荐系统【7】–【10】以及化学工业【11】、【12】。为了揭示图数据中的潜在模式并支持下游任务，图表示学习已成为图分析领域的主要研究重点【13】、【14】。由于图数据的非欧几里得性和高维性，直接分析原始图数据面临着巨大的挑战【15】–【17】。图表示学习通过将图数据压缩到低维欧几里得空间来解决这一问题，在该空间中，向量能够有效地表示图的结构和属性【18】、【19】。

传统的图表示学习方法主要基于图的邻接矩阵将节点嵌入到低维空间中【20】、【21】。随着深度学习的发展，图神经网络（GNNs）为图表示学习引入了新的解决方案【22】、【23】。GNNs的核心概念是消息传递，它将局部结构特征整合到节点属性中【13】、【24】。尽管GNNs在各种应用中取得了成功，但它们主要依赖于监督训练范式，这种范式依靠大量标注数据集来学习数据样本与特定任务的注释之间的模式【25】。然而，数据标注既耗时又往往需要专业知识，这给大规模数据集的扩展带来了挑战【16】。此外，监督学习方法容易出现过拟合问题，可能对下游任务的表现产生不利影响【26】。

近年来，自监督学习在自然语言处理（NLP）【27】、计算机视觉（CV）【28】和推荐系统（RecSys）【29】等领域取得了显著成功。受这些进展的启发，越来越多的研究者开始关注将“预训练和微调”范式应用于图领域【30】、【31】。这种方法利用与任务无关的信息来创建预训练任务进行模型初始化，然后通过较少的标注样本在目标任务上进行微调【26】。从大量预训练数据集中获得的知识增强了模型在特定目标问题上的泛化能力【32】。在“预训练-微调”框架内，研究者们关注于设计预训练任务目标，并将其与目标问题对齐【33】。图提示学习是提示工程的一个创新扩展，将提示学习的方法——这一在自然语言处理（NLP）中广泛研究的技术——应用于图领域【27】【34】。提示工程通过为大规模预训练模型的输入增加特定任务的提示（即提示信息），从而提升模型的任务适应能力【28】。这些提示可以是手工制作的自然语言指令、自动生成的指令或向量表示，分别称为离散（硬）提示和连续（软）提示。由于其能够以最少的标注数据和无需广泛参数调整的方式适应预训练模型到新任务的能力，这种方法得到了广泛关注。

图提示学习的主要优势在于其能够高效利用大规模预训练模型来处理与图相关的任务。通过提供特定任务的提示，这些模型可以利用其已有的知识库来执行新任务。这种方法显著减少了通常所需的大量标注数据和计算资源，并且使得单一预训练模型能够用于广泛的下游任务，增强了其在现实场景中的适用性。 虽然提示工程在NLP和计算机视觉（CV）领域得到了广泛研究和应用，但在图学习领域的应用仍然相对较少探索。本文综述旨在填补这一空白，通过提供图提示学习的全面概述，分类不同的提示方法，并讨论该方法在图领域中所带来的独特挑战和机遇。

本文的余下部分组织如下：第4节总结了基本的提示设计方法，包括标记设计原则、任务对齐机制以及提示调整方法。第5节介绍了同质和异质图提示的一般方法，并总结了其在分子分析、推荐系统和大规模语言模型（LLMs）中的下游应用。第6节回顾了基准数据集和评估方法，将数据集分类为同质图和异质图，并讨论了节点分类、图分类和链接预测等任务的特定评估标准。我们还强调了与数据集描述相关的挑战以及对标准化评估方法的需求。在第7节中，我们讨论了未解决的问题和未来的工作，探讨了当前图提示方法的局限性，并提出了更深入理论理解的研究方向。通过本综述，我们旨在提供图提示学习的基础性理解，强调其在未来研究和应用中的潜力。通过解决当前的局限性并探索新的方法，我们希望推进该领域的发展，开拓图表示学习的新可能性。

与现有的综述相比，本文具有以下三大特点：（1）新颖的分类法：本文系统地研究了图提示学习领域的相关研究工作，提出了新的分类方法。我们首先将设计原则概括为三个部分，即提示标记化、预训练与下游任务之间的对齐策略以及提示调整策略。随后，我们在同质图和异质图的背景下讨论了这些原则。最后，我们总结了图提示学习的应用，包括文本属性图、分子、蛋白质和推荐系统。这是首次提出此类分类法，提供了图提示学习技术的组织和分类的新视角。（2）最新的总结：图提示学习是一个新提出的概念，大约在2023年出现。因此，我们收集了2023年至2024年间的最新相关论文，确保我们的综述反映了这一快速发展的领域中的最新进展和最先进的研究。（3）深入的讨论：基于最新的研究，本文提供了全面的讨论，涵盖了图提示学习的背景、设计原则、基准数据集和最新应用。我们展示了最新的重大突破，分析了当前的挑战，并提供了有助于读者掌握关键概念和原则的见解，促进深入理解。

本综述的广泛影响体现在两个方面：（1）对图社区的影响：我们的综述为专注于图结构数据的机器学习研究人员提供了有价值的资源，能够指导他们解决与图相关的科学问题，推动该领域的创新和知识发现。（2）对更广泛的AGI相关社区的影响：我们的综述提供了关于“预训练与提示学习”领域的重要方法的详细总结，为AGI相关领域的研究人员提供了有价值的见解。通过突出设计原则和实际应用实现，我们的综述有助于研究人员理解和利用这些技术。这种跨学科的知识转移可以激发新的想法和解决方案，最终有助于AGI及其各种应用的进步。

2 分类法

本节介绍与图提示学习相关的术语和符号，这些术语和符号将在整篇论文中使用。

**2.1 术语

在本节中，我们概述了一些基本术语及其描述。为了便于理解，我们提供的是一般性的解释，而非正式定义。 * 图提示（Graph Prompt）：在预训练图模型的输入中包含的指令或提示，用于帮助执行特定任务。这些提示可以是任务导向的指令、手工制作的自然语言提示或基于向量的表示。 * 提示方法（Prompting Method）：用于将提示嵌入输入中的策略，目的是引导模型的行为并提高其性能。 * 提示调整（Prompt Tuning）：优化提示以最大化模型在特定任务上的表现的过程。这涉及根据任务要求和模型响应来调整提示。 * 图神经网络（Graph Neural Networks, GNNs）：一种专为处理图结构数据而设计的神经网络。GNNs通过消息传递将局部结构特征整合到节点属性中。 * 自监督学习（Self-Supervised Learning）：一种学习范式，其中模型通过从数据的其他部分预测数据的一部分来学习，不需要标注数据，这使其适用于大规模的未标注数据集。 * 预训练与微调（Pre-Training and Fine-Tuning）：一种双阶段训练方法，模型首先在大规模的通用数据集上进行预训练以获取广泛特征，随后在更专注于任务的特定数据集上进行微调，以将模型能力调整到特定任务上。

**

**2.2 符号

在本节中，我们介绍了论文中使用的数学符号。除非特别说明，本文的所有公式都遵循这些符号。考虑一个属性图 G=(V,E,X)G = (V, E, X)G=(V,E,X)，其中 V={v1,v2,…,v∣V∣}V = {v_1, v_2, \dots, v_{|V|}}V={v1,v2,…,v∣V∣} 表示节点集，E⊂V×VE \subset V \times VE⊂V×V 表示边集，XXX 表示特征矩阵。图中的每个节点 viv_ivi 都有一个关联的属性向量 xi∈RFx_i \in \mathbb{R}^Fxi∈RF，其中 FFF 代表属性向量的维度。所有节点的属性向量集合形成特征矩阵 X∈R∣V∣×FX \in \mathbb{R}^{|V| \times F}X∈R∣V∣×F。边也可以由邻接矩阵 A∈R∣V∣×∣V∣A \in \mathbb{R}^{|V| \times |V|}A∈R∣V∣×∣V∣ 表示，其中当 (vi,vj)∈E(v_i, v_j) \in E(vi,vj)∈E 时 Aij=1A_{ij} = 1Aij=1，否则 Aij=0A_{ij} = 0Aij=0。因此，图也可以表示为 G=(A,X)G = (A, X)G=(A,X)。

****

**2.3 文献概览

本文将按以下结构组织：

在第3节，我们探讨了图提示学习的基础方面。我们首先讨论图领域中的基本标记设计，包括节点标记设计、结构标记设计和任务标记设计。然后，我们考察了这些标记如何嵌入图相关任务中，涵盖了节点级对齐和图级对齐。随后，我们深入研究了提示学习的高级微调策略，包括预训练模型和整合元学习技术以提高性能和适应性。

第4节提供了现有图提示学习方法的广泛回顾，并将其分为同质和异质提示学习。在同质提示学习中，我们研究了三个关键维度：i) 将提示作为模型输入的整合，ii) 通过提示增强模型输出，iii) 在图提示中加入超越简单属性和结构的补充信息。对于异质图提示方法，我们重点关注i) 异质标记和消息传递过程的提示设计与应用，ii) 这些提示对提高异质图任务有效性的影响。

在第5节，我们深入探讨了图提示技术的多样化应用。我们主要讨论三个主要领域：i) 提示在分子图分析中的应用，提示学习帮助理解复杂的分子相互作用；ii) 提示在文本属性图中的应用，增强文本和结构数据的整合与分析；iii) 提示在推荐系统中的应用，提示有助于实现更个性化和精确的推荐算法。 第6节致力于总结图提示学习技术评估中常用的基准、数据集和实验指标。我们提供了针对不同图相关任务的各种评估标准的详细比较，强调了它们的优缺点。

在第7节，我们探讨了当前图提示学习领域面临的几个挑战性问题。我们还概述了潜在的未来研究方向，强调了创新解决方案的需求和持续进步的重要性，以克服现有局限性并进一步增强图提示学习方法的适用性和鲁棒性。最后，我们在第8节对本文进行总结。

结论

本综述深入探讨了通用人工智能（AGI）与图数据在图提示学习视角下的交汇点。我们提出了一个统一的框架，对图提示进行了结构化理解，将其分类为标记、标记结构和插入模式。这一创新贡献为研究人员和实践者提供了清晰且全面的认识。通过考察图提示与模型之间的相互作用，本综述揭示了图提示学习基本框架的新见解。我们强调了图提示在重塑图数据AI应用中的关键作用，展示了它们在提升模型性能、适应性和效率方面的潜力。

此外，我们的综述为图提示学习的未来发展勾画了清晰的路线图。我们讨论了现存的挑战，如图结构数据的多样性以及预训练与下游微调阶段之间的差距。综述中提供的全面讨论和分析为图提示学习这一不断发展的领域指明了方向。通过识别和解决当前的局限性，我们为进一步弥合AGI与涉及图数据的实际应用之间的差距奠定了基础。我们的综述强调了图提示学习的变革潜力，并突出了其对未来研究和应用的重要性。