【NTU博士论文】直推迁移学习的视觉识别，190页pdf

近年来，深度神经网络（DNNs）在多种计算机视觉任务中取得了巨大进步，如图像分类、对象检测、语义分割等。然而，DNNs的重大成功是以大量密集标记的训练图像为代价的，这些训练图像的建立极其昂贵且耗时。一种绕开这种限制的方法是利用现有相关数据集（称为“源域”）中的已标注图像进行网络训练。不幸的是，在源域上训练的DNNs在应用于“目标域”时往往会因为分布不匹配而导致性能急剧下降。在这种情况下，域间的迁移学习（或称知识迁移）是可取且必要的。

在本论文中，我们探讨了用于视觉识别的转导性迁移学习，其中标记的源域数据和未标记的目标域数据的数据分布不同，而源任务和目标任务是相同的。更具体地，我们调查了三种代表性的转导性迁移学习类型，包括域泛化、无监督域适应和无源无监督域适应。

在域泛化中，给定标记的源域数据，目标是学习一个泛化的视觉识别模型，该模型在未见过的目标域数据上表现良好。换句话说，域泛化旨在学习域不变特征（或可迁移特征），而无需在训练中使用目标域数据。在本论文中，我们提出了一种新颖的域泛化方法，有效地在频率空间随机化源域图像，鼓励DNNs学习风格不变的视觉特征，以便在未见过的目标域中表现良好。

在无监督域适应中，给定标记的源域数据和未标记的目标域数据，目标是学习一个适应性的视觉识别模型，该模型在目标域数据上表现良好。与域泛化不同，在无监督域适应的迁移学习设置中，未标记的目标域数据在训练期间是可访问的。因此，无监督域适应主要关注于利用未标记的目标域数据来提高网络性能。在本论文中，我们开发了四种新颖的无监督域适应技术，有效地将知识从标记的源域传递到未标记的目标域。更具体地，我们在未标记的目标域数据上设计了不同的无监督损失，以学习在目标域中表现良好的模型。 在无源无监督域适应中，给定一个源训练模型和未标记的目标域数据，目标是适应源训练模型以在未标记的目标域数据上表现良好。与无监督域适应不同，在无源无监督域适应的迁移学习设置中，标记的源域数据在训练期间是不可访问的，我们的目标是在不访问源域数据的情况下适应源训练模型以适应目标数据分布。在这样的迁移学习设置下，唯一传递的信息是一个便携的源训练模型，这在很大程度上缓解了数据隐私、数据可携带性和数据传输效率的担忧。为此，我们提出了一种新颖的无源无监督域适应方法，利用历史源假设来弥补这种迁移学习设置中源域数据的缺失。 在各种视觉识别基准测试中的实验结果表明，我们提出的迁移学习方法取得了卓越的性能，实现了跨不同域的DNNs的迁移。