【CVPR2023】面向自监督视觉表示学习的混合自编码器

掩码自编码器(MAE)通过随机掩码图像块和重建，在各种视觉任务上表现出优越的性能。然而，MAE的有效数据增强策略仍然是开放问题，不同于作为最重要部分的对比学习中的策略。研究了主流的MAE混合增广算法。**本文首先证明，由于互信息(MI)的增加，朴素的混合会使模型性能退化。本文提出同源识别，一种辅助的前置任务，不仅通过明确要求每个块识别同源块来缓解MI的增加，而且还进行目标感知的自监督预训练，以获得更好的下游密集感知性能。**通过广泛的实验，所提出的混合自编码器(MixedAE)在不同的下游任务上实现了最先进的掩码图像建模(MIM)增强之间的迁移结果，效率显著。所提出的MixedAE在ImageNet-1K、ADE20K和COCO上使用标准vite - base分别比MAE提高了+0.3%的精度，+1.7 mIoU和+0.9 AP。此外，MixedAE的训练速度提高了2倍，超过了结合实例判别的强MIM方法iBOT。据我们所知，这是第一项从前置任务设计的角度考虑MIM混合的工作。代码将被提供。