【ICML 2020 】小样本学习即领域迁移

为了利用少量标注样本实现对未见类图片的识别，小样本学习希望从可见类图片中学习先验知识。小样本学习的难点是未见类别的数据分布与可见类别的不同，从而导致在可见类上训练好的模型无法较好地迁移到未见类别领域。这种由于类别不同导致的数据分布差异可以看作是一种特殊的领域迁移问题。 在这篇论文中，我们提出了一种基于注意力机制的领域迁移原型网络 (DAPNA)，去解决在元学习框架下的领域迁移问题。具体来说是在训练过程中，我们将可见类的一个纪元 (episode，训练单位)分拆成两个类别完全不重合的子纪元（sub-episode)，用以模拟从可见类到未见类的领域迁移。在假定所有纪元都采样于同一个分布的情况下，我们在理论上给出了该模型的期望损失上界，我们也根据该期望损失上界进行损失函数的设计与模型的优化。诸多实验表明，我们所提出的DAPNA模型能比已有小样本学习模型取得更好的效果。

模型主要由两大子模块构成：小样本学习模块和领域迁移模块。流程图中的AutoEncoder是两个简单的线性层，为了让图片特征的领域归属更模糊，在这里不做详细介绍。