在过去的几年中,图上的深度学习在各个领域取得了显著的进展。然而,大多数图学习任务假设图是静态的,而现实世界的图可能会不断增长或演变。因此,研究如何在不忘记之前学习的知识的情况下,不断地使图学习模型适应新的模式/任务是至关重要的。为此,在本教程中,我们将介绍持续图学习(CGL)的新领域。具体来说,我们将(1)介绍不同的持续图学习设置,(2)提出CGL中的关键挑战,(3)强调现有的CGL技术,以及(4)讨论未来的方向。本教程时长为3小时,包括150分钟的演示和30分钟的问答。

现实世界的图通常是不断增长或演变的。例如,新类型的论文可能会不断添加到引文网络中,而文档分类器有望不断适应并能够对新类型的论文进行分类。在药物设计研究中,可能会不断地遇到具有新性质的分子,而分子性质预测器必须不断地学习新的分子性质。现有的图学习模型擅长学习新的模式/任务。然而,高可塑性也带来了灾难性遗忘问题,即模型在学习新任务后,对先前学习的任务的性能急剧下降。为此,CGL最近受到越来越多的关注,因此将在本教程中进行深入讨论。

由于不同领域的图形数据形式复杂,我们首先介绍CGL的形式化设置。具体来说,我们将解释任务增量(task-IL)和类增量(class-IL)场景下的节点级任务和图级任务。然后,基于这些设置,我们将介绍CGL的关键挑战,以及与传统的独立数据(如图像)上的持续学习的区别。接下来,我们将介绍现有的方法,包括专门为CGL开发的方法,以及适用于CGL的传统持续学习方法。最后,在分析现有方法优缺点的基础上,指出尚待解决的挑战和未来的研究方向。

成为VIP会员查看完整内容
55

相关内容

【KDD2023】任务等变图少样本学习
专知会员服务
18+阅读 · 2023年6月8日
【剑桥大学博士论文】情感机器人的持续学习,270页pdf
专知会员服务
28+阅读 · 2023年5月6日
【牛津大学博士论文】持续学习的高效机器学习,213页pdf
专知会员服务
81+阅读 · 2022年10月19日
最新《计算机视觉持续学习进展》综述论文,22页pdf
专知会员服务
72+阅读 · 2021年9月25日
持续学习最新综述论文,29页pdf
专知会员服务
117+阅读 · 2021年4月22日
自然语言处理现代方法,176页pdf
专知会员服务
267+阅读 · 2021年2月22日
最新《图神经网络实用指南》2020论文,28页pdf
专知会员服务
221+阅读 · 2020年10月17日
46页pdf, 165篇文献 | 图的可解释性
图与推荐
3+阅读 · 2022年10月25日
KDD2022 | 基于图表示的推荐算法教程
机器学习与推荐算法
0+阅读 · 2022年8月17日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年6月15日
A Survey of Large Language Models
Arxiv
408+阅读 · 2023年3月31日
Arxiv
27+阅读 · 2020年6月19日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员