【NUS博士论文】深度视觉域适应，114页pdf

域适应是一种机器学习技术，它利用源域的标记数据来提高在目标域中类似任务的性能，尤其是在目标域缺乏标签的情况下。非监督域适应（UDA）特别关注目标域完全未标记的情况。然而，UDA的大多数研究工作主要集中在提高闭集UDA的性能上，其中两个域共享相同的标签集。这种重点往往忽视了将UDA应用于具有显著分布偏移和实际部署相关要求的更复杂实际场景的挑战。本论文旨在通过考虑三个不同的视角来提高UDA的实用性：开发简单而有效的UDA方法，研究实际UDA问题配置，以及提出有效的UDA模型选择方法。通过这些贡献，我们寻求解决挑战并提高UDA在实际场景中的适用性。对抗性域适应已经成为解决UDA挑战的一种流行方法。然而，现有的对抗性域对齐方法通常存在模型设计复杂和计算需求高的问题，限制了它们在实际任务（如具有众多类别的图像分类）中的应用性。为了克服这些限制，我们的第一个贡献引入了NOUN，一种简单紧凑的条件性域对抗训练方法。为了确保准确的域对齐并减轻错误伪标签的影响，我们提出了PRONOUN，它在原型空间而不是输出空间中引入条件。在跨域图像分类和分割任务的实验评估中，与以前的域对抗训练方法相比，我们的NOUN和PRONOUN方法表现出更优异的性能。除了标准的闭集UDA设置，其中两个域共享相同的类别空间，我们进一步研究了涉及目标域中未知类别的更实际的UDA设置，即开集UDA和开放部分集UDA。以前的方法通常只关注解决一个UDA场景，并在另一个场景中表现不佳。此外，现有的方法通常依赖于源数据进行目标域适应，这在数据传输方面可能不切实际，也可能危及源数据的隐私。为了应对这些挑战，我们的第二个贡献介绍了通用模型适应（UMAD）框架。UMAD有效地处理了两种UDA设置，而不需要访问源数据或了解域之间类别重叠的先验知识。通过利用新颖的一致性得分来区分已知和未知样本，UMAD实现了仅使用目标数据的双向模型适应。实验结果表明，作为一种统一的方法，UMAD在与依赖于源数据的特定场景的最先进UDA方法相比，取得了可比的性能。

最后，我们解决了UDA方法的无监督验证问题。在几乎所有UDA方法中，选择适当的超参数配置对于实现良好的适应性能至关重要。然而，由于缺乏标记的目标数据，这项任务构成了一个挑战，并且在UDA中仍然是一个开放问题。在我们的第三项工作中，我们提出了MixVal，一种简单而有效的模型选择方法。与之前隐式依赖于原始目标预测的单一归纳偏差的方法不同，MixVal结合混合采样来合成新的目标样本。这使得直接探测学习到的目标结构成为可能，并利用了先前方法中的归纳偏差组合。通过广泛的实验，我们已经证明了MixVal超越了其他方法，在各种验证设置中始终实现了最先进的性能。这些结果突出了MixVal在应对超参数验证挑战方面的卓越能力，从而增强了UDA方法在实际应用中的实用性和有效性。总之，本论文对深度视觉领域适应问题中所面临的挑战进行了全面的调查，特别是在实际应用中。研究涵盖了高效UDA方法的开发、实际UDA配置的探索以及有效无监督验证方法的检验。