【斯坦福博士论文】具有学习约束的深度表示，239页pdf

学习从高维数据中提取与任务相关的特征是机器学习的一个重要挑战。机器学习最近的成功在很大程度上归因于深度神经网络的进步，它将数据转换为一种新的表示，适合下游机器学习算法。因此，深度神经网络将任务相关特征的提取视为一个表征学习问题，通过端到端训练与感兴趣的任务共同解决。本文对表示学习的过程进行了更深入的研究，认为通常可以通过对学习到的表示施加额外的约束来补充现有的训练信号。这些约束使我们能够在表示空间中注入先验已知的可取特征，从而有利于下游的任务。在这篇论文中，我们将考虑各种任务的例子，然后展示如何利用关于任务的见解，以一种有益的方式约束表征。这些见解是特定于任务的，利用任务的特定特征来确定对潜在空间的适当约束(例如，施加平滑性，施加信息优先级方案，或捕获一个特定的解释因素的兴趣，等等)。我们的演示广泛地涵盖了跨领域对齐、控制和生成建模的任务类别——从而展示了在表示学习期间设计和施加特定于任务的约束的普遍有效性。