连续图学习通常在各种现实应用中发挥作用,其中包含不同任务的图数据依次出现。尽管之前的工作取得了成功,但仍然面临着巨大的挑战。一方面,现有的方法处理零曲率的欧氏空间,很大程度上忽略了曲率随即将到来的图序列而变化的事实。另一方面,文献中的持续学习者依赖于丰富的标签,但在实践中对图进行标注尤其困难,特别是对于不断涌现的动态图。为了解决上述的挑战,我们提出探索一个具有挑战性但实际的问题,自适应黎曼空间中的自监督连续图学习。在本文中,我们提出了一种新的自监督黎曼图持续学习者(RieGrace)。在RieGrace中,我们首先设计了一个自适应黎曼GCN (AdaRGCN),一个与神经曲率适配器相结合的统一GCN,使黎曼空间由学习到的自适应于每个图的曲率来塑造。然后,我们提出了一种无标签洛伦兹蒸馏方法,该方法为图序列创建师生AdaRGCN。学生依次从自身进行内馏,从老师进行间馏,从而巩固知识,避免灾难性的遗忘。特别地,我们提出了黎曼空间中对比蒸馏的广义洛伦兹投影。在基准数据集上的大量实验证明了RieGrace算法的优越性。

成为VIP会员查看完整内容
24

相关内容

【NeurIPS2022】基于最大熵编码的自监督学习
专知会员服务
26+阅读 · 2022年10月23日
【NeurIPS2022】基于结构聚类的自监督异构图预训练
专知会员服务
23+阅读 · 2022年10月20日
【AAAI2022】跨域少样本图分类
专知会员服务
29+阅读 · 2022年1月22日
【ICLR2021】自监督蒸馏学习视觉表示
专知会员服务
33+阅读 · 2021年4月14日
专知会员服务
61+阅读 · 2021年3月12日
【AAAI2021】基于双任务一致性的半监督医学图像分割
专知会员服务
30+阅读 · 2021年2月7日
【AAAI2021】对比聚类,Contrastive Clustering
专知会员服务
76+阅读 · 2021年1月30日
AAAI2021 | 学习预训练图神经网络
专知会员服务
114+阅读 · 2021年1月28日
【AAAI2021】小样本学习多标签意图检测
专知会员服务
54+阅读 · 2020年12月8日
专知会员服务
28+阅读 · 2020年12月7日
【AAAI2022】跨域少样本图分类
专知
1+阅读 · 2022年1月22日
AAAI'21 | 对比自监督的图分类
图与推荐
8+阅读 · 2021年10月28日
【AAAI2021】对比聚类,Contrastive Clustering
专知
24+阅读 · 2021年1月30日
基于注意力机制的图卷积网络
科技创新与创业
73+阅读 · 2017年11月8日
国家自然科学基金
13+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
0+阅读 · 2023年2月3日
Max-Margin Contrastive Learning
Arxiv
17+阅读 · 2021年12月21日
GeomCA: Geometric Evaluation of Data Representations
Arxiv
11+阅读 · 2021年5月26日
Arxiv
14+阅读 · 2021年3月10日
Arxiv
10+阅读 · 2021年2月26日
Arxiv
31+阅读 · 2020年9月21日
VIP会员
相关VIP内容
【NeurIPS2022】基于最大熵编码的自监督学习
专知会员服务
26+阅读 · 2022年10月23日
【NeurIPS2022】基于结构聚类的自监督异构图预训练
专知会员服务
23+阅读 · 2022年10月20日
【AAAI2022】跨域少样本图分类
专知会员服务
29+阅读 · 2022年1月22日
【ICLR2021】自监督蒸馏学习视觉表示
专知会员服务
33+阅读 · 2021年4月14日
专知会员服务
61+阅读 · 2021年3月12日
【AAAI2021】基于双任务一致性的半监督医学图像分割
专知会员服务
30+阅读 · 2021年2月7日
【AAAI2021】对比聚类,Contrastive Clustering
专知会员服务
76+阅读 · 2021年1月30日
AAAI2021 | 学习预训练图神经网络
专知会员服务
114+阅读 · 2021年1月28日
【AAAI2021】小样本学习多标签意图检测
专知会员服务
54+阅读 · 2020年12月8日
专知会员服务
28+阅读 · 2020年12月7日
相关资讯
【AAAI2022】跨域少样本图分类
专知
1+阅读 · 2022年1月22日
AAAI'21 | 对比自监督的图分类
图与推荐
8+阅读 · 2021年10月28日
【AAAI2021】对比聚类,Contrastive Clustering
专知
24+阅读 · 2021年1月30日
基于注意力机制的图卷积网络
科技创新与创业
73+阅读 · 2017年11月8日
相关基金
国家自然科学基金
13+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
相关论文
Arxiv
0+阅读 · 2023年2月3日
Max-Margin Contrastive Learning
Arxiv
17+阅读 · 2021年12月21日
GeomCA: Geometric Evaluation of Data Representations
Arxiv
11+阅读 · 2021年5月26日
Arxiv
14+阅读 · 2021年3月10日
Arxiv
10+阅读 · 2021年2月26日
Arxiv
31+阅读 · 2020年9月21日
微信扫码咨询专知VIP会员