新加坡南洋理工最新37页《零样本学习综述》论文

2019 年 2 月 27 日 专知

【导读】近年来，零样本学习（ZSL，zero-shot learning）已经在大量的任务中受到了广泛的关注。本文为大家带来了南洋理工大学的零样本学习最新综述，希望对大家有所帮助。

介绍：

大多数机器学习方法，均侧重于那些训练集中广泛存在的样本进行分类。但现实场景中，许多的任务需要对从未见过的样本进行分类。零样本学习是一种非常强大的学习范式，在本文中，我们为零样本学习提供一个全面的调研综述。首先，我们概述了零样本学习，根据学习过程中使用到的数据模型，我们将其划分为三种学习类型；第二，我们描述了零样本学习过程中所采用的不同语义空间；第三，我们对现有零样本学习方法进行了分类，并在每个类别下介绍了具有代表性的方法；第四，我们讨论了零样本学习的不同应用方向；最后，我们介绍了零样本学习的未来研究方向。

监督分类方法在研究中取得了巨大的成功，并应用于许多领域之内。但在这种学习范式下，存在着一些明显的限制。比如，在监督分类中，需要充分的标记训练样本，并且，最终学习到的分类器只能对包含于训练集内的样本进行分类，而无法对未曾见过的样本类进行处理。然而，在实际应用中，每个任务可能并没有足够的训练样本存在，难以支持常规的分类任务。

为了解决这一问题，目前已有多个研究团队提出相应的研究思路，如少样本学习、单样本学习等。在这些方法中，会利用其他类别样本中所学习到的知识，应用于样本较少类的分类过程中。对于上述学习范式下的方法，仍难以解决从未出现过相应样本的类别处理过程，而这却是实际应用中常常面临的问题所在。

在零样本学习中，特征空间内存在着一些标注过的训练数据样本，它们属于“已知类别”，除此之外，还存在着一些未标注的测试样本，属于“未知类别“。上述特征空间一般是实值空间，并且每一个样本均被表示成一个空间中的特征向量而存在。

一般的零样本学习思路是，将训练集中的特征知识迁移至测试样本的分类任务上，因此可以认为，零样本学习是迁移学习的一个子领域。在迁移学习中，源域的知识被迁移至目标域的任务中。根据源域与目标域的标签空间是否一致，迁移学习可以被分类为同构迁移学习（homogeneous transfer learning）或异构迁移学习（heterogeneous transfer learning）。

一般来说，为了解决零样本学习问题，必须要使用到辅助信息。此类辅助信息需要包括所有”未知类别“，同时，这些辅助信息需要与特征空间相关联，以保证此类辅助信息的可用性等。

下图简要介绍了本综述中的方法分类，以及各类方法的优缺点。