图提示学习(Graph Prompt Learning, GPL) 已成为一种极具潜力的范式,用于连接图预训练模型与下游场景,从而缓解标签依赖以及上游预训练与下游任务之间的不匹配问题。尽管现有 GPL 研究探索了多种提示策略,但其有效性与潜在原理仍不明确。我们识别出两个关键局限性: (1) 对底层机制缺乏共识:虽然当前的 GPL 方法推动了该领域的发展,但尚无一致意见解释提示如何与预训练模型交互,因为不同策略在模型的不同空间介入,即输入级、层级以及表示级提示。 (2) 场景适应性有限:大多数方法难以在多样化的下游场景中泛化,尤其是在数据分布发生转变时(例如,从同质图到异质图)。 为解决这些问题,我们从理论上分析了现有 GPL 方法,并揭示表示级提示本质上等价于对一个简单的下游分类器进行微调。据此,我们提出图提示学习应当聚焦于释放预训练模型的能力,而由分类器来适应下游场景。基于这一发现,我们提出了 UniPrompt,一种新颖的 GPL 方法,可适配任意预训练模型,在释放预训练模型能力的同时保留输入图的结构。大量实验表明,我们的方法能够有效集成多种预训练模型,并在域内和跨域场景中均取得优异表现。

成为VIP会员查看完整内容
0

相关内容

神经信息处理系统年会(Annual Conference on Neural Information Processing Systems)的目的是促进有关神经信息处理系统生物学,技术,数学和理论方面的研究交流。核心重点是在同行会议上介绍和讨论的同行评审新颖研究,以及各自领域的领导人邀请的演讲。在周日的世博会上,我们的顶级行业赞助商将就具有学术意义的主题进行讲座,小组讨论,演示和研讨会。星期一是教程,涵盖了当前的问询,亲和力小组会议以及开幕式演讲和招待会的广泛背景。一般会议在星期二至星期四举行,包括演讲,海报和示范。 官网地址:http://dblp.uni-trier.de/db/conf/nips/
微信扫码咨询专知VIP会员