【多伦多大学博士论文】基于有限标记数据的开放环境机器学习，152页pdf

在过去的几十年里，机器学习在众多人工智能应用中取得了长足的进步。然而，它的成功主要依赖于在一个封闭的环境中使用大量的离线数据训练模型，然后在类似的测试环境中对它们进行评估。这意味着大多数机器学习模型无法在很少的观察下快速适应新环境并在线学习新知识。相比之下，我们的人类大脑可以从在线感官输入流中学习新的表示、概念和技能。**本文旨在使具有几个核心能力的机器能够在开放世界中学习新概念，而无需访问大量精心策划的标记数据。**具体来说，它解决了几个关键问题，如使用有限的标记数据、增量数据、无标记数据以及不平衡和噪声数据进行学习。本文提出的算法可以自然地与任何深度神经网络相结合，并且与网络架构无关。它们可以为各种开放世界条件提供更大的灵活性和鲁棒性，使基于学习的方法适合部署在一般的基于智能体的智能系统中。

1.引言

**机器学习是人工智能领域的核心课题之一。由于许多智能行为不能简单地由标准程序定义，而不是依靠人工设计的规则，本文使用机器学习来获得函数逼近，给定许多输入和输出观测。**今天，在机器学习的帮助下，我们的计算机可以识别我们的声音和笔迹，记住我们的脸，标记我们的照片，翻译不同的语言，在下棋和围棋中击败我们，并在道路上安全驾驶汽车。就像阿兰·图灵在20世纪50年代设想的那样，今天的计算机使用机器学习来“模拟”儿童的思维，这是一张逐渐充满各种各样的知识和表示的白纸。然而，机器的学习过程与儿童的学习过程仍有很大的差距。也许机器学习和人类学习之间最显著的区别之一是能够学习自然世界中稀缺数据的任务。如今的机器学习往往依赖于在一个封闭的世界环境中训练模型，并在大量经过整理的数据中进行评估，然后在类似或相同的测试环境中进行评估。这意味着，与人类不同，标准的机器学习算法无法在很少的观察下快速适应新环境并在线学习新知识。在本文中，我们将这种期望的能力称为开放世界学习。 我们如何弥合人类和机器之间的这种明显差距?我的论文旨在寻求解决方案，使机器能够在一个开放的世界中学习新概念，而不需要获取大量的策划标签。具体来说，它解决了开放世界学习框架下的几个关键问题，如使用有限的标记数据、增量数据、无标记数据、不平衡和噪声数据、在线和流数据进行学习，所有这些都是今天典型的机器学习管道中没有考虑的。这些问题的最终解决方案将对我们所有人产生深远的影响。首先，它将允许未来的智能体在飞行中学习:你未来的家庭机器人将适应你的房子，识别新家具，并学习使用新设备;你的增强现实眼镜将通过你对世界的视角来学习，这些视角是你过去从未经历过的;您的个人AI助理将适应您的偏好，并在与您的对话中学习新技能。此外，它将在许多工业应用中节省数百万小时的工程、标签和数据管理工作。最后，通过将我们的学习过程投射到计算框架中，这也将是探索理解人类智能的一个里程碑。

本文概述

**本文提出的贡献，使机器能够用很少的标记示例获得新概念，并使它们对许多自然主义和开放世界条件更鲁棒。**在过去，有几种机器学习范式，如小样本学习、持续学习、自监督学习等，它们都是由使机器学习在开放世界中更加灵活和自适应的大愿景所驱动的。第二章概述了这些课题的背景文献。具体来说，本文首先讨论了各种学习范式，这些范式鼓励在与训练不同的环境中进行测试时的学习，例如小样本学习和持续学习，然后讨论了另一个相关研究的思路，旨在从无标签的示例中学习，例如自监督学习。 然而，这些学习范式通常只专注于一个特定的属性，如域偏移量或标记数据点的数量。有时，这些性质是正交的，它们的解可以组合在一起，但通常提出的解决方案依赖于一些额外的不现实的假设。例如，标准的半监督学习利用未标记的数据来提高学习模型的质量;然而，它假设未标记的数据与标记的数据来自相同的分布，并且也属于预定义的类别之一。在另一个例子中，标准的少样本学习旨在用很少的数据点来学习新类别，但它假设数据点平均分布于在训练期间从未见过的几个新类别。或者，类不平衡问题通常假设类标签是正确的，因此高训练成本意味着数据点来自少数类。在这些示例中，假设学习环境的其他属性的解决方案在同时存在多个问题的开放世界中部署时可能会崩溃。因此，本文的核心主题是寻求新的解决方案，以同时解决开放世界的多种特性，如有限的标记数据学习、输出空间的增量增长、无标记、不平衡和有噪声的数据。为了实现这一目标，我们不仅需要开发新的学习算法，还需要重新思考定义问题的学习范式。因此，论文的一部分，如第4章和第6章的部分，也旨在定义具有额外自然属性的新的学习范式或基准。

**用有限的标记数据进行学习的文献被广泛称为少样本学习。然而，标准的少样本学习在测试时只处理少量的新类。**在第3章中，我们关注的是增量少样本学习的问题，模型需要识别训练时多次出现的旧类别和测试时刚刚引入的新类别。令人惊讶的是，许多只专注于解决新类别的经典少样本学习方法，实际上在处理结合新旧类别的更现实问题时受到了影响，可能是因为新旧类别的表示彼此不兼容。与直接使用新类样本的某些特征向量作为分类器权重的传统方法不同，本文提出的方法是基于连续优化的，通过平衡新旧类带来的目标来求解权重，并在测试时达到更好的优化解。在整个增量学习新类别的过程中，现实世界的智能体通常会遇到更多的未标记样本。在第4章中，我们又向前迈进了一步，将未标记数据引入到小样本学习问题中。本文提出一种半监督少样本学习的新学习范式，除了在每个学习片段中标记的数据点很少的约束外，还考虑未标记的样本。本文工作是第一个同时解决半监督学习和少样本学习的工作。它不仅减少了训练和测试任务中对标记数据量的依赖，而且解决了干扰因素的问题，即不属于任何已知类别的类别，因为在经典的半监督学习中不考虑这一问题。本文提出新的少样本学习模型，可以规避分干扰类的影响，同时仍然设法利用来自未标记数据的有用信息。

**尽管小样本学习取得了广泛的成功，但情节通常是从精心策划的数据集中采样，而不是从自然世界的噪声长尾分布中采样。**我们在第4章中介绍的干扰物例子也可以被认为是一种噪声训练数据。在第5章中，我们将研究在标准机器学习环境下的不平衡和噪声类标签学习问题。虽然这两个问题在自然学习环境中普遍发生，但传统上，它们被分开研究，采用相互矛盾的补救方法。为了解决这一冲突，本文提出了一种数据驱动的示例权重机制，可以在统一的框架下直接应用于这两个问题。该算法利用干净和平衡的验证集来校准训练样本权重。该模型还强调了一种同时联合更新内层和外层循环参数的高效学习方法。少样本学习通常伴随着僵化的情景设置，这使得对新概念的持续增量获取进行建模变得不自然。第6章提出了一种新的在线情境化小样本学习范式。虽然我们在第3章中研究了新旧类别的组合，但之前的方法主要关注情节的概念，但知识从未随着时间顺序和增量增长。虽然已经有一些努力使这些情节更有顺序，就像设置增量类学习一样，但训练和测试阶段的分离仍然使评估变得繁重。现实世界的智能体不依赖偶发的停止，而是执行在线持续学习，在序列的每个时间步中产生一些输出预测，通过自上而下的上下文信息流进行调制。新范式包含了许多自然主义属性，如在线、增量、上下文化、少样本和半监督，还开发了一个基于室内家庭图像的新基准，模仿现实世界智能体的视觉输入流。提出了一种新的模型——上下文原型记忆(context Prototypical Memory, CPM)，成功地解决了在有限标记数据下的在线上下文类学习问题。

最后，在第7章中，我们研究了在不使用任何类别标签的情况下，通过在线视觉输入流动态学习表示和类别。在前几章中，学习仍然主要由带标签的示例驱动:例如，在第6章中，只有当环境告诉智能体它是一个新类时，新的类别簇才会创建。在本章中，我们将介绍一种算法，该算法允许智能体同时从未标记的数据流中学习表示和类别。这可以被视为发展过程中的一个前阶段，因为智能体可以首先通过在没有标记数据的情况下学习表示和类别来探索环境，然后在一些示例的监督下进行。所提出的模型，在线无监督原型网络，将用于概念学习的原型网络与基于聚类的自监督表示学习相结合，并与仅使用在线数据流进行训练的最先进的自监督视觉表示学习方法相比较。此外，该算法对不均衡分布也具有较强的鲁棒性。

目录内容：