「NeurIPS 2020」基于局部子图的图元学习

点击蓝字，设为星标

❝

「NeurIPS 2020」 的接收论文《Graph Meta Learning via Local Subgraphs》，「G-META 是第一个使用局部子图来进行元学习的模型。」

❞

Graph Meta Learning via Local Subgraphs

目前流行的图学习方法需要丰富的标签和边信息进行学习。「当新任务的数据稀缺时，元学习允许我们从以前的经验中学习」，并形成急需的归纳偏见，以便快速适应新任务。

此文介绍了「G-META，一种新的图的元学习方法：」

1. G-META 使用局部子图传递特定于子图的信息，并通过元梯度使模型更快地学习基本知识。
2. G-META 学习如何仅使用新任务中的少数节点或边来快速适应新任务，并通过学习其他图或相关图(尽管是不相交的标签集)中的数据点来做到这一点。

G-META 在理论上是合理的，因为「特定预测的证据可以在目标节点或边周围的局部子图中找到。」

现有方法是专门为特定的图元学习问题和特定的任务设计的专门技术。虽然这些方法为 GNN 中的元学习提供了一种很有前途的方法，但它们的特定策略没有很好的伸缩性，也不能扩展到其他图的元学习问题（图1）。

图1：图的元学习问题。
A.元学习器通过观察同一图中的其他标签集来对看不见的标签集进行分类。
B.元学习器通过学习具有相同标签集的其他图来学习看不见的图。
C.元学习器通过学习多个图上的其他标签集来对看不见的标签集进行分类。

「与现有的方法不同，G-META 可以解决上述三个问题，并且还适用于链接预测」

在7个数据集和9个基线方法上的实验表明，「G-META 的性能比现有方法高出16.3%」。

与以前的方法不同，G-META 可以在具有挑战性的、few-shot learning 的学习环境中成功地学习，这些学习环境需要将其推广到全新的图形和从未见过的标签中。

最后，G-META 可扩展到大型图，文章在包含1840个图的新 Tree-of-Life 数据集中进行了演示，这比以前工作中使用的图的数量增加了两个数量级。

G-META 模型图

• (1)首先构造一批 个元训练任务，并为元任务中的节点动态提取局部子图。
• 对于每个任务 ，(2)来自支撑集中的子图是最小批处理的，并且被馈送到由 参数化的 GNN 中。
• (3)利用质心节点生成支撑集嵌入；
• (4)根据支撑质心嵌入计算原型。
• 然后，(5)计算支撑集损失 ，以及(6)反向传播以更新 GNN 参数。
• (7)子图 馈送到更新后的 GNN 中以(8)生成查询质心嵌入。
• (9)利用支撑原型和查询嵌入，计算任务 的查询损失 。
• 对于 更新步骤重复步骤(2-9)。
• 从相同的 GNN   开始，对其他 个采样任务重复相同的过程。
• (10)对所有任务的上一次更新步骤的查询损失进行汇总，并用于更新 。然后，对另一批任务进行采样，重复步骤(1-10)。
• 然后，对于元测试任务，使用元学习参数 对 GNN 重复步骤(1-9)，这使得能够对看不见的任务进行泛化。

数据集

数据集统计信息。Fold-PPI 和 Tree-of-Life是此工作中引入的新数据集

实验结果

合成数据集上的图元学习性能：

真实数据集上的图元学习性能：

往期精彩推荐

图神经网络资源大集合~快来打包带走

扫码关注   设为星标         及时获得精彩消息

图神经网络/推荐算法/图表示学习

球分享

球点赞

球在看