【CVPR2023】基础模型驱动弱增量学习的语义分割

现代语义分割增量学习方法通常基于密集标注来学习新的类别。尽管取得了很好的结果，但逐像素标记是昂贵和耗时的。弱增量语义分割学习(WILSS)是一项新颖而吸引人的任务，旨在从廉价且广泛可用的图像级标签中学习分割出新的类别。尽管效果相当，但图像级标签无法提供定位每个分割的细节，这限制了WILSS的性能。这启发我们思考如何改进和有效利用给定图像级标签的新类的监督，同时避免忘记旧类。本文提出一种新的数据高效的WILSS框架FMWISS。本文提出基于预训练的协同分割，以提取互补的基础模型的知识，以生成密集的伪标签。用师生架构进一步优化了有噪声的伪掩码，其中插件式教师用提出的密集对比损失进行了优化。提出了基于内存的复制粘贴增强，以改善旧类的灾难性遗忘问题。在Pascal VOC和COCO数据集上的实验结果表明，FMWISS在15-5 VOC的数据集上取得了70.7%和73.3%的性能提升，分别比当前最好的方法提升了3.4%和6.1%。 https://antoyang.github.io/vid2seq.html