【ICCV2021】自监督蒸馏的长尾视觉识别

深度学习在大规模均衡数据集的视觉识别方面取得了显著进展，但在现实世界的长尾数据上仍然表现不佳。以往的方法多采用类别再平衡训练策略，有效缓解类别不平衡问题，但可能存在类别尾部过拟合的风险。目前的解耦方法利用多阶段训练方案克服了过拟合问题，但仍无法在特征学习阶段捕获尾类信息。在本文中，我们证明软标签可以作为一个强大的解决方案，将标签相关性纳入多阶段训练方案的长尾识别。软标签所体现的类之间的内在联系有助于长尾识别，将知识从头类传递到尾类。

具体地说，我们提出了一个概念简单但特别有效的多阶段训练方案，称为自监督蒸馏(SSD)。本方案由两部分组成。首先，我们引入了一个自蒸馏的长尾识别框架，该框架可以自动挖掘标签关系。其次，提出了一种新的基于自监督引导的蒸馏标签生成模块。提取的标签集成了来自标签和数据域的信息，可以有效地建模长尾分布。我们进行了广泛的实验，我们的方法在三个长尾识别基准上取得了最先进的结果:ImageNet-LT, CIFAR100-LT和iNaturalist 2018。在不同的数据集上，我们的SSD比强大的LWS基线性能高出2.7%到4.5%。

https://www.zhuanzhi.ai/paper/9551df29964dcd508862fb665b5b696a