<基于能量的自监督学习>Yann Lecun-NVIDIA GTC 2021最新演讲, 89页ppt，了解自监督学习的统一框架

近年来，人工智能领域，在开发人工智能系统方面取得了巨大进展，这些系统可以从大量精心标记的数据中学习。这种监督学习范式在训练专门的模型方面性能极好，在它们训练的任务上往往能够获得极高的性能表现。

但不幸的是，仅靠监督学习，人工智能领域难以走远。

监督学习在构建更智能的通用模型上存在本质上的瓶颈，例如处理多任务问题，或者通过大量存在的无标签数据学习新技能等。实际上，我们不可能对世界上一切事物都做标注；即使可以标注，但数量也可能并不足够，例如低资源语言翻译任务。

如果人工智能系统能够在训练数据集之外，对现实世界能够有更深入、更细致的理解，显然它们将更有用，最终也将使人工智能更接近人类层面的智能。

人类婴儿学习世界运作，主要是通过观察。我们会通过学习物体的持久性、重力等概念，从而形成关于世界上物体的广义预测模型。在随后的人生里，我们不断观察世界，然后对它进行作用，然而再观察作用的效果等等，通过反复尝试，从而建立假设，解释我们的行动如何能够改变我们的环境。

一种有效的假设是，人类和动物的生物智能，主要的成分是由关于世界的普遍知识或常识构成的，这种常识在生物智能中会被默认为自然而存在的背景。但对于人工智能来说，如何构建这种常识却一直是一个开放的挑战难题。在某种程度上，常识正是人工智能的暗物质。

常识可以帮助人们学习新技能，而无需为每项任务做大量的监督训练。

例如，我们只需要给小孩子看几张奶牛的图画，他们以后便可以轻松地识别出任何奶牛。相比之下，经过监督学习训练的人工智能系统，则需要许多奶牛的标注图像，即使这样，训练出的模型在一些特殊情况下，依然无法做出准确判断。

人类通过 20 个小时的练习，便能够学会驾驶汽车，但人类司机数千小时的数据却无法训练出一个很好的自动驾驶系统。

答案很简单：人类借助了他们以前获得的关于世界如何运作的背景知识。

我们如何让机器也能这样做呢？

我们认为，自我监督学习（self-supervised learning）是建立这种背景知识和近似人工智能系统中一种常识的最有前途的方法之一。

自我监督学习使人工智能系统能够从数量级更大的数据中学习，这对于识别和理解世界更微妙、更不常见的表示模式很重要。

长期以来，自我监督学习在推进自然语言处理（NLP）领域取得了巨大成功，包括 Collobert-Weston 2008 model，Word2Vec，GloVE，fastText 以及最近的BERT，RoBERTa，XLM-R等。通过这些方法训练的系统，会比以监督学习的方式训练的系统，性能要高得多。

我们最新的研究项目 SEER 利用 SwAV 和其他方法，在10亿张随机的未标记图像上预训练了一个大型网络，在各种视觉任务上获得了最高的精度。这一进展表明，在复杂的现实环境中，自监督学习也可以在 CV 任务中有出色表现。

在接下来的这篇文章中，我们将讲述，为什么自监督学习可能有助于解开智能暗物质，以及为什么它将是人工智能的下一个前沿。我们也将列出一些有前途的新方向，包括：在存在不确定性的情况下，基于能量的预测模型、联合嵌入方法、人工智能系统中用于自监督学习和推理的隐变量体系结构等。

目录内容： 人类和动物如何快速学习？ 自监督学习 基于能量的模型 EBM Architectures for multimodal prediction Non-Contrastive EBM Training Architectural EBM Generative Regularized Latent-Variable Architectures Amortized Inference: Learning to predict the latent variable