【ETHZ博士论文】面向场景理解的实用领域适应研究，153页pdf

场景理解旨在全面理解视觉场景，在计算机视觉领域中占据关键地位。为了赋予机器类似人类的场景理解能力，语义分割作为一种关键工具浮现出来，成为自动驾驶、机器人视觉和人机交互等广泛应用的核心。过去十年里，得益于大规模数据集的可用性和深度学习技术的迅猛发展，语义分割模型取得了显著的成功。然而，这些模型对新领域的泛化能力仍然有限。培训领域鲁棒性模型通常依赖于标记大量多样化数据集的劳动密集型过程，这不仅成本高昂，而且阻碍了这些模型在现实世界应用中的实际部署。在这种情况下，领域适应旨在将训练有素的语义分割模型从有标签的源领域适应到无标签的目标领域，从而消除了对目标领域进行标记的需求。传统的领域适应通常依赖于隐性或显性假设，例如假设源领域或目标领域具有单一的数据分布，或者在它们之间保持一致的分类体系。然而，这些假设在现实世界应用中显得不切实际。此外，现行的领域适应框架依赖于为无标签目标领域分配的伪标签，由于领域差异引入的噪声不可避免地阻碍了适应过程。低质量伪标签的存在不可避免地妨碍了适应过程。为了应对这些挑战，本论文介绍了一套适用于实际场景的领域适应语义分割方法，最终增强了场景理解。我们提出了以下四个主要贡献。首先，我们提出了多源领域适应与标签统一问题(mDALU)及其解决方法。在mDALU设定中，存在多个源领域和一个无标签目标领域，每个源领域只标记了部分类别。mDALU的目标是开发一个涵盖目标领域所有类别的模型。我们的方法包括两阶段适应过程：部分监督适应阶段和完全监督适应阶段。在部分监督阶段，将来自多个源领域的部分知识转移到目标领域并进行整合。在完全监督阶段，通过使用伪标签完成标签过程后，在统一的标签空间内传递知识。其次，我们提出了一种基于元学习的原则性方法，用于解决开放复合领域适应问题(OCDA)，其中目标领域被视为多个未知子领域的复合体。我们的方法包括四个基本步骤：聚类、分割、融合和更新。这些步骤建立了一个超网络，以发现并整合目标领域中未知子领域的知识。此外，我们采用了元学习策略，通过单一梯度步骤实现测试期间的在线模型更新。第三，我们提出了一个适应分类体系交叉领域语义分割问题(TACS)，解决了图像级和标签级的领域差距。特别是，在标签级别，源领域中的“人”类被细分为目标领域中的“骑行者”和“行人”。为了全面解决TACS问题，我们开发了一种同时处理图像级和标签级领域适应的方法。在标签层面，我们利用双边混合采样策略来增强目标领域，并使用重新标记方法来协调和对齐标签空间。为了缓解图像级领域差距，我们提出了一种不确定性矫正的对比学习方法，从而获得更具领域不变性和类别区分性的特征。最后，我们引入了一个基于隐式神经表征的框架来提高领域适应性能。具体而言，伪标签学习机制是大多数领域适应性语义分割方法的基础。我们的提议涉及使用隐式神经表征估计预测伪标签的校正值，从而提高伪标签的质量并促进领域适应过程。总之，我们展示了我们提出的问题和方法超越了传统领域适应的限制，丰富了实际领域适应。这一进步有助于实现稳健的场景理解和在现实世界场景中的应用。