【YannLecun最新报告】自监督学习与能量模型，附99页ppt与视频

自监督学习(Self-Supervised learning, SSL)是近年来机器学习研究的热点之一。在SSL中，学习模型捕获输入变量之间的依赖关系，其中一些可能被观察到，记为X，而另一些不总是被观察到，记为Y。SSL预训练已经彻底改变了自然语言处理，并在语音和图像识别方面取得了非常快的进展。SSL可以使机器通过观察学习世界的预测模型，并学习感知世界的表示，从而减少标记样本或奖励试验的数量，以学习下游任务。在基于能量的模型框架(EBM)中，X和Y都是输入，模型输出一个度量X和Y之间不兼容程度的标量能量。EBM是隐式函数，可以表示X和Y之间复杂和多模态的依赖关系。EBM架构主要分为两类:联合嵌入架构和潜在变量生成架构。训练EBMs的方法主要有两类: 对比方法和容量正则化方法。EBM的许多基础数学借鉴自统计物理学，包括配分函数、自由能量和其变分逼近的概念。