【斯坦福博士论文】受限条件下的表示学习

受限条件下的表示学习很少有学科能像机器学习这样在过去十年中经历如此快速的发展。即使在过去的几年中，研究领域也在不断演变，并重新聚焦于新的挑战，这些挑战往往由改变社会、影响人类思维、生活和工作的潜力所驱动。支撑这些进步的核心组件是表示学习：一种将输入转换为新表示的技术，以捕捉数据中的结构和模式。本论文并不专注于改进典型学习范式中的表示学习，而是探索其在某些情况下表现不佳的实例。我们的重点是在受限条件下学习表示，并朝着在表示学习表现不稳定、性能较差或“效果不佳”的环境中解锁表示学习迈出一步。第一章从表示学习的概述开始。它提供了正式的定义，探讨了早期表示学习算法的历史，并概述了这些方法通常需要满足的两个条件。然后，我们研究了打破这些条件会如何干扰表示学习，并列举了这些限制在现实世界中的几种表现场景。第二章，我们聚焦于数据稀缺的限制，并以分子科学中的一个应用为动机展开研究。我们探索利用基于物理的分子模拟数据（借助数十年的技术进步）来学习捕捉基本蛋白质-配体结合模式的表示。对于我们的目标任务——预测小分子是否激活或抑制特定蛋白质，我们发现使用基于模拟数据训练的表示作为起点，可以显著提高建模性能。第三章继续关注数据稀缺问题，但从不同的角度解决这一问题。我们开发了一种元学习算法，该算法能够使用极少量的标注样本学习如何将输入转换为新任务的表示。与之前需要在标注样本上进行微调的工作不同，我们的方法在推理过程中不更新模型参数，并且在许多少样本学习基准测试中达到了新的最先进水平。第四章，我们转向学习离散表示的限制。这一范式具有挑战性，因为离散化在通常用于学习表示的光滑目标函数中引入了不可微分的点。我们专注于一种流行的离散化形式——向量量化，并改变了梯度通过这一操作的方式。在11种使用向量量化的不同范式中，我们的梯度估计器提高了性能并减少了训练不稳定性。第五章总结了本论文的贡献，并提出了未来工作的可能方向。