图神经网络(GNNs)被广泛用于学习一种强大的图结构数据表示。最近的研究表明,将知识从自监督任务迁移到下游任务可以进一步改善图的表示。然而,自监督任务与下游任务在优化目标和训练数据上存在内在的差距。传统的预训练方法可能对知识迁移不够有效,因为它们不能适应下游任务。为了解决这一问题,我们提出了一种新的迁移学习范式,该范式可以有效地将自监督任务作为辅助任务来帮助目标任务。在微调阶段,我们的方法将不同的辅助任务与目标任务进行自适应的选择和组合。我们设计了一个自适应辅助损失加权模型,通过量化辅助任务与目标任务之间的一致性来学习辅助任务的权重。此外,我们通过元学习来学习权重模型。我们的方法可以运用于各种迁移学习方法,它不仅在多任务学习中有很好的表现,而且在预训练和微调中也有很好的表现。在多个下游任务上的综合实验表明,所提出的方法能够有效地将辅助任务与目标任务相结合,与现有的方法相比,显著提高了性能。

https://www.zhuanzhi.ai/paper/852db932624d6feeb7bbd32e67772b27

成为VIP会员查看完整内容
62

相关内容

图神经网络 (GNN) 是一种连接模型,它通过图的节点之间的消息传递来捕捉图的依赖关系。与标准神经网络不同的是,图神经网络保留了一种状态,可以表示来自其邻域的具有任意深度的信息。近年来,图神经网络(GNN)在社交网络、知识图、推荐系统、问答系统甚至生命科学等各个领域得到了越来越广泛的应用。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
专知会员服务
37+阅读 · 2021年9月15日
专知会员服务
31+阅读 · 2021年7月2日
专知会员服务
45+阅读 · 2021年6月20日
专知会员服务
94+阅读 · 2021年5月25日
专知会员服务
19+阅读 · 2021年3月12日
专知会员服务
32+阅读 · 2021年3月7日
专知会员服务
44+阅读 · 2021年1月31日
AAAI2021 | 学习预训练图神经网络
专知会员服务
114+阅读 · 2021年1月28日
【AAAI2021】图卷积网络中的低频和高频信息作用
专知会员服务
57+阅读 · 2021年1月6日
【AAAI2021】 层次图胶囊网络
专知会员服务
80+阅读 · 2020年12月18日
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
【GNN】MPNN:消息传递神经网络
深度学习自然语言处理
17+阅读 · 2020年4月11日
ICML2020 图神经网络的预训练
图与推荐
12+阅读 · 2020年4月4日
基于 GNN 的图表示学习
DataFunTalk
9+阅读 · 2020年1月17日
Arxiv
7+阅读 · 2019年6月20日
Arxiv
7+阅读 · 2018年1月10日
VIP会员
相关VIP内容
专知会员服务
37+阅读 · 2021年9月15日
专知会员服务
31+阅读 · 2021年7月2日
专知会员服务
45+阅读 · 2021年6月20日
专知会员服务
94+阅读 · 2021年5月25日
专知会员服务
19+阅读 · 2021年3月12日
专知会员服务
32+阅读 · 2021年3月7日
专知会员服务
44+阅读 · 2021年1月31日
AAAI2021 | 学习预训练图神经网络
专知会员服务
114+阅读 · 2021年1月28日
【AAAI2021】图卷积网络中的低频和高频信息作用
专知会员服务
57+阅读 · 2021年1月6日
【AAAI2021】 层次图胶囊网络
专知会员服务
80+阅读 · 2020年12月18日
相关资讯
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
【GNN】MPNN:消息传递神经网络
深度学习自然语言处理
17+阅读 · 2020年4月11日
ICML2020 图神经网络的预训练
图与推荐
12+阅读 · 2020年4月4日
基于 GNN 的图表示学习
DataFunTalk
9+阅读 · 2020年1月17日
微信扫码咨询专知VIP会员