在线连续学习(Online continuous learning, Online CL)研究从无任务边界的在线数据流中学习顺序任务的问题,旨在适应新数据的同时缓解对过去任务的灾难性遗忘。本文提出了一种对比视觉Transformer(CVT)框架,该框架设计了一种基于Transformer结构的focal对比学习策略,以实现在线学习的更好的稳定性-可塑性权衡。具体地说,我们设计了一种新的外部注意力机制,隐式地捕捉了之前的任务信息。此外,每节课都有可学习的重点,可以积累上节课的知识,缓解遗忘。基于可学习的重点,我们设计了焦点对比损失,以重新平衡对比学习之间的新和过去的课程和巩固以前学习表征。此外,CVT包含一个双分类器结构,用于解耦学习电流类和平衡所有观察类。大量的实验结果表明,我们的方法在在线CL基准测试中以更少的参数实现了最先进的性能,并有效地缓解了灾难性的遗忘。

https://arxiv.org/abs/2207.13516

成为VIP会员查看完整内容
21

相关内容

Transformer是谷歌发表的论文《Attention Is All You Need》提出一种完全基于Attention的翻译架构

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【ICML2022】时序自监督视频transformer
专知会员服务
30+阅读 · 2022年7月28日
【AAAI2022】基于对比时空前置学习的视频自监督表示
专知会员服务
18+阅读 · 2021年12月19日
【AAAI2022】基于双流更新的视觉Transformer动态加速方法
专知会员服务
23+阅读 · 2021年12月11日
专知会员服务
22+阅读 · 2021年9月30日
最新《计算机视觉持续学习进展》综述论文,22页pdf
专知会员服务
69+阅读 · 2021年9月25日
持续学习最新综述论文,29页pdf
专知会员服务
116+阅读 · 2021年4月22日
专知会员服务
62+阅读 · 2021年4月11日
专知会员服务
19+阅读 · 2020年12月11日
【ICML2022】时序自监督视频transformer
专知
1+阅读 · 2022年7月28日
CVPR 2022 | 元学习在图像回归任务的表现
PaperWeekly
1+阅读 · 2022年6月11日
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年9月23日
Arxiv
15+阅读 · 2022年6月14日
Arxiv
19+阅读 · 2021年4月8日
Arxiv
17+阅读 · 2021年3月29日
VIP会员
相关VIP内容
【ICML2022】时序自监督视频transformer
专知会员服务
30+阅读 · 2022年7月28日
【AAAI2022】基于对比时空前置学习的视频自监督表示
专知会员服务
18+阅读 · 2021年12月19日
【AAAI2022】基于双流更新的视觉Transformer动态加速方法
专知会员服务
23+阅读 · 2021年12月11日
专知会员服务
22+阅读 · 2021年9月30日
最新《计算机视觉持续学习进展》综述论文,22页pdf
专知会员服务
69+阅读 · 2021年9月25日
持续学习最新综述论文,29页pdf
专知会员服务
116+阅读 · 2021年4月22日
专知会员服务
62+阅读 · 2021年4月11日
专知会员服务
19+阅读 · 2020年12月11日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员