【CVPR2022】MSDN: 零样本学习的互语义蒸馏网络

零样本学习(zero-shot learning, ZSL)的关键挑战是如何推断已见类的视觉特征和属性特征之间的潜在语义知识，从而实现对未见类的知识迁移。以往的研究要么简单地将图像的整体特征与其关联的类语义向量对齐，要么利用单向注意学习有限的潜在语义表示，无法有效地发现视觉特征与属性特征之间的内在语义知识(如属性语义)。**为了解决上述困境，我们提出了一种相互语义蒸馏网络(MSDN)，该网络逐步提取ZSL的视觉特征和属性特征之间的内在语义表示。**MSDN包含学习基于属性的视觉特征的属性→视觉注意子网和学习基于可视化的属性特征的属性→属性注意子网。通过进一步引入语义蒸馏损失，两个相互关注的子网络能够在整个训练过程中进行协作学习和相互教学。提议的MSDN在强大的基线上产生了显著的改进，导致在三个流行的具有挑战性的基准(即CUB、SUN和AWA2)上产生了新的最先进的性能。我们的代码已在:\url{https://github.com/shiming-chen/MSDN}。

https://arxiv.org/abs/2203.03137