【CMU博士论文】语境：表征学习的机制

本论文建立了语境结构理论，用数学方法表征表征学习的机制，也称为预训练。尽管基础模型在实践中取得了显著的成功，但仍不清楚它们学习到的表征是什么，以及这些表征为何对各种不同的下游任务有用。对表征学习的科学理解至关重要，尤其是在模型规模扩展已经呈现边际效益递减的情况下，设计新的预训练方法成为进一步发展的必要条件。 先前的工作对不同的表征学习方法进行了各自不同的处理，而语境结构理论则提供了一个统一的框架，用于阐明这些方法学习到的表征。核心论点是，表征是通过输入 X 和一个上下文变量 A 之间的关联来学习的。我们证明了，如果一个编码器捕获了这种关联的最大信息，在这种情况下我们说编码器学习了“语境结构”，那么它将在与该上下文兼容的任务类上达到最佳表现。我们还展示了，当 X 和 A 之间的关联既不太强也不太弱时，上下文最为有用。语境结构理论的重要含义是，仅仅增加模型规模将带来递减的回报，而进一步的进展需要更好的上下文。 我们证明了许多现有的预训练目标可以学习语境结构，包括监督学习、自监督学习、生成模型等。在此基础上，我们提出了两个通用目标——SVME 和 KISE，用于学习语境结构。我们还展示了如何将多个上下文混合在一起，这是从现有上下文中创建更好上下文的轻松方法。然后，我们为表征学习证明了统计学习界限，并将该框架扩展到半监督学习的谱变换核回归。最后，我们讨论了从预训练到下游任务的数据分布变化的影响。