【AAAI2021】克服图神经网络灾难性遗忘,Overcoming Catastrophic Forgetting in GNN

2020 年 12 月 15 日 专知


灾难性遗忘是指神经网络在学习新任务时“忘记”之前所学知识的倾向。以往的方法在克服这一问题上主要集中在卷积神经网络(CNNs),图像等输入样本位于一个网格域中,但在很大程度上忽略了处理非网格数据的图神经网络(GNNs)。在本文中,我们提出了一种新的方法来克服灾难性遗忘问题,从而加强网络中的持续学习。我们的方法的核心是一个通用模块,称为拓扑感知权值保持~(TWP),以即插即用的方式适用于任意形式的GNNs。主流的基于CNN的连续学习方法只依赖于减慢对下游任务很重要的参数的更新速度,而TWP不同于这种方法,它明确地探索了输入图的局部结构,并试图稳定在拓扑聚合中起关键作用的参数。我们在几个数据集上评估了TWP在不同GNN骨干上的性能,并证明了它产生的性能优于目前的技术状态。


https://www.zhuanzhi.ai/paper/1b14d3c79fd4da3b4cdbcaca97eed943


专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“CFGNN” 可以获取【AAAI2021】克服图神经网络灾难性遗忘,Overcoming Catastrophic Forgetting in GNN》专知下载链接索引

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
1

相关内容

AAAI2021 | 学习预训练图神经网络
专知会员服务
115+阅读 · 2021年1月28日
专知会员服务
19+阅读 · 2020年12月9日
【NeurIPS 2020】图神经网络GNN架构设计
专知会员服务
83+阅读 · 2020年11月19日
【NeurIPS 2020】基于因果干预的小样本学习
专知会员服务
67+阅读 · 2020年10月6日
近期必读的六篇 ICML 2020【因果推理】相关论文
专知会员服务
87+阅读 · 2020年9月8日
专知会员服务
42+阅读 · 2020年7月7日
专知会员服务
111+阅读 · 2020年6月26日
【Uber AI新论文】持续元学习,Learning to Continually Learn
专知会员服务
36+阅读 · 2020年2月27日
【NeurIPS 2020】核基渐进蒸馏加法器神经网络
专知
13+阅读 · 2020年10月19日
【ICML 2020 】小样本学习即领域迁移
专知
5+阅读 · 2020年6月26日
【ICML2020】小样本目标检测
专知
7+阅读 · 2020年6月2日
Attentive Graph Neural Networks for Few-Shot Learning
Arxiv
40+阅读 · 2020年7月14日
Continual Unsupervised Representation Learning
Arxiv
7+阅读 · 2019年10月31日
Arxiv
8+阅读 · 2018年3月20日
VIP会员
相关VIP内容
AAAI2021 | 学习预训练图神经网络
专知会员服务
115+阅读 · 2021年1月28日
专知会员服务
19+阅读 · 2020年12月9日
【NeurIPS 2020】图神经网络GNN架构设计
专知会员服务
83+阅读 · 2020年11月19日
【NeurIPS 2020】基于因果干预的小样本学习
专知会员服务
67+阅读 · 2020年10月6日
近期必读的六篇 ICML 2020【因果推理】相关论文
专知会员服务
87+阅读 · 2020年9月8日
专知会员服务
42+阅读 · 2020年7月7日
专知会员服务
111+阅读 · 2020年6月26日
【Uber AI新论文】持续元学习,Learning to Continually Learn
专知会员服务
36+阅读 · 2020年2月27日
Top
微信扫码咨询专知VIP会员