机器学习模型如何泛化到未知领域？微软亚研「领域泛化 (Domain Generalization)」综述论文概述理论、算法等

会员服务 ·

机器学习模型如何泛化到未知领域？微软亚研「领域泛化 (Domain Generalization)」综述论文概述理论、算法等

2021 年 3 月 13 日 专知

摘要：

域泛化(DG)，即分布外泛化，近年来引起了越来越多的关注。领域泛化处理一个具有挑战性的设置，其中给出了一个或几个不同但相关的领域，目标是学习一个可以泛化到看不见的测试领域的模型。

近年来，取得了很大的进展。本文首次综述了领域泛化的最新进展。

首先，我们给出了领域泛化的形式化定义，并讨论了几个相关的领域。

接下来，我们对领域泛化的相关理论进行了全面的回顾，并对泛化背后的理论进行了仔细的分析。然后，我们将最近出现的算法分为三类，分别是数据操作、表示学习和学习策略，每一类都包含了一些流行的算法。

第三，介绍了常用的数据集及其应用。最后，对已有文献进行了总结，并提出了未来的研究方向。

https://www.zhuanzhi.ai/paper/5b8b8958327cabc8b6694d7fc5c7ac75

引言

机器学习(ML)在计算机视觉、自然语言处理和医疗保健等各个领域都取得了显著的成功。ML的目标是设计一个可以从训练数据中学习通用和预测性知识的模型，然后将该模型应用于新的(测试)数据。

传统的ML模型训练基于i.i.d.假设，训练数据和测试数据是相同的，独立分布的。然而，这种假设在现实中并不总是成立的。当训练数据和测试数据的概率分布不同时，由于域分布的差异，ML模型的性能往往会下降。收集所有可能领域的数据来训练ML模型是昂贵的，甚至是不可能的。因此，提高ML模型的泛化能力具有重要的工业和学术意义。

与广义相关的研究课题有很多，如领域适应、元学习、迁移学习、协变量转移等。近年来，领域泛化(DG)受到了广泛的关注。如图1所示，领域泛化的目标是从一个或几个不同但相关的领域(即不同的训练数据集)学习模型，这些领域将在看不见的测试领域上很好地泛化。

近年来，领域泛化在计算机视觉、自然语言处理等领域取得了长足的进展。除此之外，目前还没有一项关于该领域的调查能够全面介绍和总结其主要思想、学习算法等相关问题，为未来的研究提供见解。

本文首先介绍了领域泛化的研究概况，重点介绍了领域泛化的公式、理论、算法、数据集、应用以及未来的研究方向。 希望本研究能为相关研究者提供一个全面的回顾，并对相关领域的研究有所启发。

本文的结构组织如下。我们将在第2节中阐述领域概括并讨论其与现有研究领域的关系。第3节介绍了领域泛化的相关理论。在第4节中，我们详细描述了有代表性的DG方法。第5节介绍了应用程序，第6节介绍了DG的基准数据集。我们在第7节中总结了现有工作的见解，并提出了一些可能的未来方向。最后，在第8节对本文进行总结。

DG问题的示意图如下所示，其形式化定义如下：

方法体系

领域泛化方法是我们的核心。本文将已有的领域泛化方法按照数据操作、表示学习、学习策略分为三大方面，如下图所示。

数据操作，指的是通过对数据的增强和变化使训练数据得到增强。这一类包括数据增强和数据生成两大部分。
表示学习 ，指的是学习领域不变特征(Domain-invariant representation learning)以使得模型对不同领域都能进行很好地适配。领域不变特征学习方面主要包括四大部分：核方法、显式特征对齐、领域对抗训练、以及不变风险最小化(Invariant Risk Minimiation, IRM)。特征解耦与领域不变特征学习的目标一致、但学习方法不一致，我们将其单独作为一大类进行介绍。