KDD2023 | 用提示学习赋予图神经网络检测分布外数据的能力

**题目：**A Data-centric Framework to Endow Graph Neural Networks with Out-Of-Distribution Detection Ability **会议：**KDD 2023 **论文链接：**http://shichuan.org/doc/150.pdf

**代码链接：**https://github.com/BUPT-GAMMA/AAGOD 在机器学习中，用于在测试时从大量分布内（ID）样本中识别出分布外（OOD）样本的OOD检测，已经成为了一个关键问题。然而，现有的研究大多是在欧氏数据上进行的，而在图结构数据中的问题仍然未被充分研究。最近的一些研究开始研究图OOD检测，但它们都需要从头开始训练一个图神经网络（GNN），计算成本较高。在本工作中，我们首次尝试赋予一个已经训练好的GNN检测分布外数据的能力，而不需要修改其参数。为此，我们设计了一个后处理框架，名为自适应放大器的分布外图检测（AAGOD），专注于进行以数据为中心的操作。AAGOD旨在为每个原始输入图的邻接矩阵叠加一个参数化的放大器矩阵。这个放大器可以看作是“提示（prompt）”，并期望突出对分布外图数据检测有帮助的关键模式，从而扩大OOD和ID图之间的差距。然后，训练良好的GNN可以被复用来将放大的图编码为向量表示，预定义的评分函数可以进一步将这些表示转换为检测得分。具体来说，我们设计了一个可学习的放大器生成器（LAG）来为不同的图定制放大器，并提出了一个正则化学习策略（RLS）来训练参数，无需OOD数据。实验结果显示，AAGOD可以应用于各种GNN以启用OOD检测能力。与图OOD检测的最新基线方法相比，平均来说，AAGOD在AUC方面有6.21%的相对增强，并且训练速度快了34倍。

1 简介

在现实世界中部署的现代机器学习模型常常遇到分布外（OOD）的输入样本，这些样本来自模型在训练期间尚未见过的不同分布。理想情况下，一个值得信赖的模型不仅应在分布内（ID）样本上表现良好，而且应该能识别出它们不知道的情况，特别是在涉及安全关键应用时。这凸显了分布外数据检测的重要性，即通过指定指标或分数的差距来识别ID和OOD数据。。

鉴于此，最近的一批研究已经探索了各种有效的OOD检测方法。一种工作提出训练一个专门用于OOD检测任务的神经网络，我们称之为基于重新训练的OOD检测方法。实际上，有数量巨大的已经训练好的编码器（为其他任务学习）可以复用。因此，另一种工作提出了一种后处理的方式，使用从训练良好的编码器中提取的表示，而不是重新训练网络，我们称它们为基于复用的OOD检测方法。通常，这些方法首先定义一个评分函数将样本表示映射到得分，然后将得分较低的输入视为OOD样本。基于复用的OOD检测方法无需对已训练好的编码器进行任何改变，具有良好的效率和泛化性，并且最近吸引了许多研究者的关注。

最近，一些工作开始研究图数据上的分布外检测问题，但它们都属于重新训练的方法。例如，GOOD-D提出从头开始训练一个新的图对比学习模型用于图OOD检测，它利用层次对比学习并基于不同粒度的语义不一致来检测OOD图。如今，很多工作已经提出了许多复杂且深层次的监督或无监督的图神经网络（GNN）编码器。然而，训练这样一个编码器可能有计算复杂度高、优化困难等问题。受基于复用的方法成功的启发，我们首次尝试让一个训练良好的GNN能在不改变其参数的情况下检测OOD图。

如下图所示，我们提出了一个专注于数据中心操作的新颖框架。在适当修改输入的图之后，可以复用训练良好的GNN来将操作后的图编码为向量表示，预定义的评分函数（例如，来自之前的复用方法的函数）可以进一步将这些表示转换为检测得分。直观地说，我们期望以数据为中心的操作能够帮助突出ID图的潜在模式，从而扩大OOD和ID图之间的得分差距。在这篇论文中，我们提出通过在原始输入图的邻接矩阵上叠加一个参数化矩阵（形象地称为“放大器”）来实现操作，作为可学习的特定于实例的“提示”。然而，找到每个输入图的适当放大器仍然不是一件简单的事：（1）图数据中节点的数量和顺序是不确定的，这使得设计一个适用于所有图的全局静态放大器变得不可行；（2）在训练期间，OOD图是不可见的，这使得设计一个区分ID和OOD数据的学习目标变得困难。

为了解决上述困难，我们提出了一个名为AAGOD的新框架：（1）为了处理具有不同大小和无序节点的图，我们创新地设计了一个可学习的放大器生成器（LAG），以自适应地生成特定于图的放大器。LAG将利用由训练良好的GNN编码的节点表示来为原始图中的边生成权重。通过这种方式，可以进一步复用训练良好的图编码器中的知识，并且LAG可以定制放大器来确定图的哪一部分应该被强调以进行OOD检测。（2）为了在没有OOD数据的情况下训练LAG中的参数，我们提出了一种正则化学习策略（RLS），该策略鼓励放大的ID图得高分，并期望在只看到放大器时得到低分。通过这种方式，我们可以确保导致高分（即ID模式）的关键因素只存在于ID图中，而不是放大器中。相比之下，由于LAG没有被训练来感知与ID图的模式大不相同的OOD图，因此放大的OOD图的得分将保持较低。

为了验证AAGOD的有效性，我们在来自不同领域的真实世界数据集上进行了广泛的实验，并考虑了四个模型作为训练良好的GNN，包括两种无监督方法GCL、JOAO和两种监督方法GIN、PPGN。实验结果显示，AAGOD可以成功地赋予训练良好的GNN 检测分布外数据的能力，并且与典型的基于重用的方法相比，其在AUC中的平均相对增强为25.21%。此外，AAGOD在图OOD检测中超越了最新的方法，与最佳基线相比，其在AUC上的平均相对增强为6.21%。此外，我们的AAGOD的训练速度比现有的图OOD检测方法快34倍，因为我们不需要训练GNN编码器。最后，我们还通过可视化研究了学习到的放大器的可解释性。

2 方法

在本节中，我们首先介绍符号并形式化这个问题。然后，我们将提出基于重用的图OOD检测的AAGOD框架。最后，我们将讨论框架设计的好处。

2.1 问题定义

**2.1.1 基于重用的图OOD检测

在本文中，我们首次尝试了基于重用的图OOD检测，该检测通过使用经过良好训练的GNN编码器以事后方式执行检测。形式上，0表示OOD情况，1表示ID情况，基于重用的图OOD检测旨在建立一个检测模型用于区分输入图:

**2.1.2 一个朴素的解决方案

由于GNN编码器经过了充分的训练，可以提取富有表现力的图表示，构造函数g的一个直观想法是保持编码器f中的参数不变，并直接对编码表示应用预定义的非参数评分函数。形式上，我们可以把函数g(·)写成：

2.2 为OOD检测自适应生成放大器

我们创新地在AAGOD框架中为函数g引入额外的可学习参数，以获得更好的图OOD检测性能，而不是像上面的朴素解决方案那样构建无参数函数g。我们将首先介绍如何参数化函数g，然后设计一个新颖的放大器生成器和一个有效的参数训练学习策略。

**2.2.1 整体框架

我们的AAGOD的核心是设计一个具有可学习的参数的函数g，通过训练来扩大ID图和OOD图之间的分数差距。具体来说，我们将一个矩阵（放大器）叠加在原始输入图的邻接矩阵上，期望能突出有利于OOD检测的关键子结构，从而使得ID图和OOD图更容易区分。这个放大器与提示调整技术共享相似的原理，希望通过数据中心的操作来适应下游任务。然而，找到合适的放大器矩阵并非易事，因为图结构数据具有任意数量的无序节点，我们也缺乏未见过的OOD图的信息来直接优化g。因此，我们创新地设计了一个可学习的放大器生成器 (LAG)，用来自适应地生成特定于图的放大器，并进一步提出了一种正则化学习策略 (RLS)，以优化并学习参数。我们提出的AAGOD的整体框架如下图所示。

**2.2.2 可学习的放大器生成器

为了处理具有不同大小和无序节点的图，我们在这项工作中让放大器专注于为原始图的边生成权重。此外，基于拥有相似的拓扑结构和节点特征的图应有相似的ID模式的假设，LAG根据来自训练良好的GNN的原始图编码表示自适应地生成特定于图的放大器。这样，可以重复使用在训练良好的图编码器中的知识，LAG可以为具有不同拓扑结构的图定制放大器。注意，训练良好的GNN的输出节点表示不仅编码了节点特性，还编码了本地拓扑信息。因此，我们重新使用训练良好的GNN的节点表示，而不是原始特征，来发现ID图的潜在模式并生成放大器。形式上，我们利用下式计算放大器矩阵：

在这项工作中，我们使用多层感知机（MLP）生成放大器的元素。虽然可能有其他替代方案来产生放大器，但我们尽可能多地重用训练良好的GNN，并引入少量可学习的参数，以实现高效的图OOD检测。

**2.2.3 正则化学习策略

为了在没有OOD数据的情况下训练LAG中的参数，我们提出了一种有效的正则化学习策略，它鼓励具有ID模式的放大图获得更高的分数，同时规范LAG避免所有放大图都获得高分。这样，我们可以确保导致高分的关键因素，即ID模式，只存在于ID图中，而不是放大器中。因此，对于放大的OOD图，得分将保持低位。形式上，我们通过要求ID图的分数更高来设计ID数据的学习目标：

相反，OOD图的学习策略如下:

此外，我们还增加了一个正则化项来防止过拟合。最后，总体学习目标可以写成如下：

2.3 讨论

放大器控制图中的边权重，并可以帮助强调有助于OOD检测的关键位置。例如，如果分子数据集中的ID图共享类似的主干结构，那么放大器应为主干中的边赋予更大的权重。实际上，我们学习到的放大器中的边权重可以提供一些可解释的直观感觉，这是我们的AAGOD与朴素解决方案相比的另一个优点。此外，放大器与预训练语言模型领域流行的提示调整技术有着共同的优点，其中提示将把原始输入文本转换成有益于下游任务的形式。因此，我们的放大器也可以被解释为可训练的特定于实例的提示，用于图形OOD检测。

3 实验

在本节中，我们对五个基准数据集进行了实验。

3.1 主实验

我们给出了5对基准数据集和4个不同GNN模型的结果。我们在表中将最好的结果加粗，并报告了我们的方法相比朴素方法的相对提升。

3.2 与基线方法比较

为了验证基于重训练良好的GNN来检测OOD图是可行的，我们也将基于GCL和JOAO的AAGOD与三种基线方法进行比较。下图显示了五种方法在五对数据集上的AUC。

3.3 学习到的放大器分析

为了进一步理解学习到的放大器，下图描述了在BBBP-BACE和BZR-COX2上的放大图。注意，放大图中的边是有向的，我们为了方便将不同方向上相同边的权重平均。如下图所示，ID图都有一个功能组，具有六边形结构（例如，苯环），连接在主干的末端，这是区分ID图和其他图的关键模式。我们学习到的放大器给功能组中的边更高的权重，表明了定位潜在ID模式关键子结构的能力。

4 结论

在这篇论文中，我们创新地提出研究基于重用的图OOD检测问题，目标是赋予任意训练良好的GNN识别OOD图的能力。为此，我们提出了一个名为AAGOD的数据中心框架，通过在原始输入图上叠加放大器，来扩大ID和OOD图之间的分数差距。具体来说，我们提出可学习的放大器生成器，生成特定于图的放大器，并设计了一种有效的正则化学习策略用于参数训练。在五对真实世界数据集上的广泛实验表明，AAGOD可以成功地使多种训练良好的GNN擅长于图OOD检测。AAGOD在图OOD检测中明显优于最先进的基线，且享有34倍的训练速度。此外，我们还通过案例研究更直观地理解了学习到的特定于图的放大器。