【ECCV2022】对比视觉Transformer的在线持续学习

在线连续学习(Online continuous learning, Online CL)研究从无任务边界的在线数据流中学习顺序任务的问题，旨在适应新数据的同时缓解对过去任务的灾难性遗忘。本文提出了一种对比视觉Transformer(CVT)框架，该框架设计了一种基于Transformer结构的focal对比学习策略，以实现在线学习的更好的稳定性-可塑性权衡。具体地说，我们设计了一种新的外部注意力机制，隐式地捕捉了之前的任务信息。此外，每节课都有可学习的重点，可以积累上节课的知识，缓解遗忘。基于可学习的重点，我们设计了焦点对比损失，以重新平衡对比学习之间的新和过去的课程和巩固以前学习表征。此外，CVT包含一个双分类器结构，用于解耦学习电流类和平衡所有观察类。大量的实验结果表明，我们的方法在在线CL基准测试中以更少的参数实现了最先进的性能，并有效地缓解了灾难性的遗忘。

https://arxiv.org/abs/2207.13516