图上如何提示？港中文等最新《图提示学习》全面综述，详述图提示分类体系

人工通用智能（AGI）已经在许多领域引起了革命性的变化，然而，它与图数据的整合——在我们互联世界中的一个基石——仍然处于初期阶段。本文提出了一个开创性的关于AGI中新兴图提示领域的综述，解决了在利用图数据进行AGI应用中的关键挑战和机遇。尽管在自然语言处理和计算机视觉领域的AGI取得了实质性进展，但其在图数据方面的应用相对较少被探索。这份综述批判性地评估了AGI在处理图数据方面的当前格局，突出了特定于图的跨模态、跨领域和跨任务应用中的独特挑战。我们的工作是第一个提出用于理解图提示学习的统一框架，为图域中的提示Token、token结构和插入模式提供了清晰的概念。我们深入探讨了图提示的内在属性，探索了它们的灵活性、表达性以及与现有图模型的相互作用。一个全面的分类法将该领域的100多项工作进行了分类，将它们与节点级、边级和图级目标的预训练任务对齐。此外，我们还提出了一个Python库和配套网站ProG，以支持和推进图提示研究。这项综述在讨论当前挑战和未来方向上达到高潮，为AGI中图提示研究提供了一条研究路线图。通过这一全面分析，我们旨在催化进一步探索和实际应用AGI在图数据中的潜力，强调其重塑AGI领域及其它领域的潜力。ProG和网站可以分别通过 https://github.com/WxxShirley/Awesome-Graph-Prompt 和 https://github.com/sheldonresearch/ProG 访问。

在以人工通用智能（AGI）的快速发展为标志的时代中，出现了许多利用AGI技术（如自然语言处理中的ChatGPT和计算机视觉中的Midjourney）的神奇应用。AGI极大地改善了我们的生活，使我们的工作更加高效，并使我们从重复性任务中解脱出来，专注于更有创造性的事业。然而，当涉及到图数据时，与自然语言处理（NLP）[9, 2, 50]和计算机视觉（CV）[91, 114]领域的巨大成功相比，AGI在图数据上的应用仍处于早期阶段。在我们日益互联的世界中，理解和提取图数据中的有价值见解至关重要。这使得将AGI应用于图数据成为学术和工业界关注的前沿领域[48, 120, 108]，有可能重新定义诸如药物设计[68, 64]和电池开发[90]等领域。 然而，实现这一愿景绝非易事。图1展示了最近在人工通用智能领域的研究格局，我们可以看到至少有三个基本的技术问题：**如何使模型对不同模态、不同领域和不同任务通用？**在NLP和CV领域，已有许多商业模型可以理解和转换这些模态间的信息[9, 114, 2]。例如，像BERT [9]和GPT3 [2]这样的模型已经展示了执行涉及文本和视觉信息的任务的能力。然而，在图数据的背景下，从多个模态中协调信息的工作仍然是一个基本未探索的领域[44]。对于跨领域问题，迁移学习已被证明是有效的，使模型能够将从一个领域的图像和文本中学到的知识应用到另一个领域。然而，在不同图形领域间转移知识非常困难，因为语义空间不对齐[125]，结构模式也不相似[122]，使得图域适应仍然是一个非常前沿且未很好解决的AGI问题。目前，大多数关于图迁移学习的研究侧重于第三个问题，即如何利用同一图形领域中预训练的图知识来执行不同的图任务（如节点分类、链接预测、图分类等）[78, 52, 80, 12, 124, 31, 74, 17]。然而，与NLP和CV领域的巨大成功相比，同一图形领域内的任务转移仍然很原始，成功的工业应用实例远远少于。虽然AGI研究在许多线性数据（如图像、文本[67, 9, 2]和视频[91, 114]）领域取得了显著成就，但图数据领域内的基本问题仍然未被深入探索。除了上述三个基础问题，人工通用智能还遇到了许多社会争议。例如，训练大型基础模型消耗了大量能源，并可能产生意外的逆向结果[51, 71]。这些担忧导致AI社区越来越一致地认为，需要有效地提取这些大型模型保存的有用知识，最小化在各种下游任务中重复微调的需要[16, 40]。这种共识不仅承诺减轻环境影响，还为AGI时代模型效率和适应性的挑战提供了实际解决方案。

最近的人工通用智能（AGI）技术核心之一的提示学习已展示出解决上述问题的巨大潜力，并在自然语言处理（NLP）和计算机视觉（CV）应用中取得显著成功 [65, 86, 50]。提示学习是设计信息丰富的提示以操纵预训练基础模型输入数据的艺术。图2显示了一个应用于预训练语言模型的文本格式提示的示例，用以直接执行下游推理任务。通过将下游任务重构为预训练任务，这种方法避免了对模型进行广泛调整的需要，并有效地提取了保存的知识 [2, 35]。由于其在数据操纵、任务重构和提取重要见解方面的强大能力，提示对于解决跨模态、跨领域和跨任务挑战非常有前景。与大型模型相比，提示通常非常轻量，可以通过减少这些大型模型重复调整所导致的大量计算资源来高效提取有用知识 [40, 73]。直观地看，文本和图像可以被视为更一般的图数据结构的特定实例。例如，一个句子可以被视为一条图路径，单词作为节点，图像可以被视为网格图，每个像素作为图节点。这一洞察鼓励我们探索将成功的提示技术从文本转移到图领域以解决类似问题。 最近，一些研究人员开始将提示学习引入图数据 [78, 52, 80, 12, 124, 55, 20, 4, 18]。然而，一些进一步的研究发现，图提示与NLP领域的提示非常不同 [80]。首先，设计图提示与制定语言提示相比是一项更加复杂的任务。经典的语言提示通常包括预定义的短语或附加到输入文本的可学习向量 [2, 16]。这里的主要关注点在于语言提示的内容。然而，我们实际上不知道图提示长什么样。图提示不仅包含提示“内容”，还包括如何构建这些提示令牌并将它们无缝集成到原始图中的未定义任务。其次，与预训练任务相比，协调下游图问题更加困难 [52, 80]。例如，语言模型的典型预训练方法是通过模型预测掩蔽词 [9]。然后，许多下游任务如问答和情感分类可以轻松重构为单词级任务 [50]。与NLP不同，在预训练任务中，图任务跨越节点级 [19]、边级 [117] 和图级目标 [76, 79]，使得预训练预设不太适应。第三，与通常是一些易懂短语的NLP提示相比，图提示通常对非专家来说不太直观。图提示在图模型中扮演的基本性质和角色仍然有些难以捉摸，没有全面的理论分析。设计图提示的质量也缺乏明确的评估标准。此外，我们还有许多不清晰的问题需要进一步了解图提示。例如，这些图提示有多有效？它们在参数复杂性和训练负担方面的效率如何？这些提示在操纵原始图数据方面有多强大和灵活？鉴于这些复杂问题，迫切需要深入探索AGI中图提示的潜力，为这一不断发展的前沿领域在更广泛的数据科学领域内提供更深刻的理解。 虽然最近有努力探索图提示，但仍缺乏一致的框架或明确的路线。这些努力在观点、方法论和目标任务方面差异显著，呈现出图提示的分散格局，给这一研究领域的系统性进展带来了相当大的障碍。迫切需要提供一个统一框架下的全景视图、分析和综合最新进展。鉴于这种情况，我们提供了这项综述，介绍现有工作如何尝试通过图提示解决之前提到的AGI的三个基础问题。除此之外，我们还希望通过回答以下详细的研究问题（RQs）推进研究领域：

为回答第一个研究问题（RQ1），我们提出了一个统一框架来分析图提示学习工作。我们的框架将图提示的概念转化为提示令牌、令牌结构和插入模式。这种更高层次的视角提供了清晰度和全面性，为读者提供了对这一新兴领域的结构化理解。据我们所知，我们的综述是第一个将图提示的多方面内容汇集到一个统一框架中的工作。 为回答第二个研究问题（RQ2），我们探索了提示与现有图模型之间的关系，从灵活性和表达性的角度，然后提出了一个新颖而富有洞见的视角来揭示图提示的本质。与大多数在NLP领域的提示学习综述[50]不同，后者将提示视为填补预训练任务和下游任务之间差距的技巧，我们揭示了图提示和图模型在更深层次上是相互关联的。这种新颖的视角为为什么提示学习在图领域有潜力以及它与传统微调方法[30]的区别提供了宝贵的见解。据我们所知，这是第一个提供这种关于图提示的启发性视角的努力。 为回答第三个研究问题（RQ3），我们引入了一个涵盖100多项相关工作的综合分类法。我们的分类法解析了这些工作，根据节点级、边级和图级任务对它们进行分类，从而将它们与预训练任务的更广泛背景对齐。这将使我们的读者对整个“预训练和提示”工作流程中提示的机制有更清晰的理解。 为回答第四个研究问题（RQ4），我们开发了ProG（prompt graph）1，一个支持图提示的统一Python库。此外，我们建立了一个网站2，用作最新图提示研究的存储库。该平台整理了一系列研究论文、基准数据集和容易获取的代码实现。通过提供这个易于访问的生态系统，我们旨在使研究人员和实践者更有效地推进这一新兴领域。 除此之外，我们的综述还进一步介绍了潜在应用、对当前挑战的深思熟虑分析以及对未来方向的讨论，从而为这一充满活力和不断发展的领域的演变提供了全面的路线图（RQ5）。我们的贡献总结如下： * 促进全面分析。我们提出了一个统一框架，用于分析图提示学习工作，提供了关于提示令牌、令牌结构和插入模式的全面视角。 * 提示模型交互的新视角。我们提供了关于图提示本质的新见解。不同于传统工作仅将提示视为填补下游任务和预训练任务之间差距的技巧，我们探索了图模型的灵活性和表达性问题，并开创了一种更深入的视角来了解提示与现有图模型之间的交互。 * 图提示的系统分类法。我们系统地探索了图提示领域最近的百余项工作。这个分类法不仅组织了这些贡献，还为读者提供了对整个“预训练和提示”工作流程中提示机制的全面理解。 * 赋能图提示生态系统。我们开发了支持图提示的ProG Python库，并建立了一个全面的网站，用于收集最新的图提示研究。 * 勾勒未来发展路径。对领域当前挑战和未来方向的详细探索。

路线图。本综述的其余部分安排如下：第2节介绍我们的综述方法，第3节介绍初步知识，第4节介绍预训练方法，第5节介绍图模型的提示方法。第7节讨论图提示的潜在应用，并在第8节介绍我们开发的ProG库。第9节总结我们的综述，讨论当前挑战和未来方向。第10节结束综述并介绍作者的贡献声明。