【纽约大学Martin Arjovsky 博士论文】机器学习的分布外泛化,106页pdf

我们为什么在这里?我们大多数人来到这里的原因很简单:我们想解决人工智能问题。那么，人工智能和这本书的书名有什么关系呢?人工智能的现代定义之一是对理性代理的研究和设计[RN09]。从这个意义上说，我们将一个系统描述为智能的，当它最大化某些预期的性能概念时。机器学习的子领域处理的是问题和算法的子集，其中代理可以获得经验(通常以某种形式的数据)，可以利用这些经验来改进性能的概念[MRT12]。大多数情况下，性能是由代理人在新的和看不见的情况下如何行动来衡量的，这些情况不构成其训练经验的一部分。例如，可以训练一名代理人将英文翻译成法文，其训练经验包括大量翻译的联合国文件。然而，在评估时，它可能会在与它所见过的文件不同的联合国新文件上进行测试。很自然地，代理在它所看到的训练经验和它所评估的新情况下的表现之间存在着差距。代理泛化的能力是通过性能上的差距有多小来衡量的。

希望前面的段落已经解释了在机器学习的背景下，以及在更大的AI背景下，什么是泛化。那么，标题中还保留着哪些“分布外”词呢?如前所述，泛化是指减少一个agent在已知训练情境下的表现与同一agent在未知测试情境下的表现之间的差距。然而，有许多不同类型的未知。统计学习通常处理的一类泛化是分布的:当从训练示例生成的数据与测试示例生成的数据无法区分时。根据定义，非分布内的泛化问题称为分布外泛化问题，这是本书的主题。

这项工作的目标很简单。我们想要回顾，分布外泛化的知识。因此，这项工作的很大一部分将致力于理解(有时是微妙的)不同方法和假设之间的差异和相似性，通常以一种孤立的方式呈现。重点将放在与人工智能或现代大规模机器学习应用等想法上。此外，我们将特别注意研究不同方法的缺点，以及下一步可能是重要的。

• 在第二章中，我们首先讨论如何量化分布外泛化。通过几个例子，我们研究了分布外泛化与处理不同分布外任务的几种常用方法之间的关系。本文将特别强调这些方法背后的假设，并说明这些方法何时有效，何时无效。

• 在第三章中，我们将关注一个特定的分布外任务类。在这些预测任务中，就像在许多实际问题中一样，在分布之外泛化的困难在于找出数据中的哪些相关性是假的和不可靠的，以及哪些相关性代表感兴趣的现象。

• 在第四章中，我们讨论了不同应用领域在实践中出现的分布外任务的类型，以及这些领域在过去是如何处理这些问题的。

• 在第五章中，我们为分布外泛化和人工智能背景下的新研究领域奠定了基础。在本章中，我们将关注在探索或强化学习环境中与世界交互的agent，以及它们如何从分布外泛化中获益。