【牛津大学博士论文】基于变分自编码改进表示学习,170页pdf

表示学习旨在从原始数据中提炼有用的知识，并将这些知识应用于广泛的应用场景。这种不仅对选定任务有用，而且能推广到新环境的信息提取能力是实现人工智能的关键一步。在这篇论文中，我们关注通过一种特定类型的生成模型得到的表示，即变分自编码器（VAEs）。VAEs具有几个理想的属性。得益于使用变分推理和高斯后验的便捷模型假设以及简单的先验，VAEs通常易于训练并表现出快速收敛。概率建模方法使得VAEs能够从原始数据中得到平滑的潜在表示（即，语义相似的数据样本可能会被映射到潜在空间的相邻区域）。VAEs将原始数据压缩到一个更低维度的潜在空间。与原始数据相比，使用低维表示可以显著降低内存和计算成本。凭借这些优势，VAEs已广泛应用于许多应用领域，包括机器人技术[1]、药物发现[2]和数字内容创作[3]。尽管VAEs已经广泛应用，但进一步提高VAEs的生成建模仍然是一个活跃的研究课题。在这篇论文中，我们关注VAE训练中的两个挑战：1) 在具有高斯解码器和简单先验模型的VAEs中，经常会遇到过度正则化的后验分布；2) 自编码函数可能导致严重的信息漂移，并在连续编码过程中改变原始数据中的信息。针对这两种现象，我们提出了解决方案。具体来说，我们优化高斯解码器中的方差参数，以平衡ELBO目标中的竞争损失项。我们采用一个灵活的先验模型，该模型在潜在空间中实现为一个VAE，以减轻过度正则化的影响。为了减少信息漂移，我们建议修改ELBO目标，加入一个一致性损失，以惩罚这种漂移。我们证明了这些提议可以有效解决之前确定的挑战，并提高VAEs的似然得分。除了与改进VAEs相关的贡献外，我们还展示了VAEs在两个重要机器学习应用中表示学习的能力。首先，我们展示了VAE压缩复杂高维数据的能力是实现异常检测良好性能的关键。我们设计了一个VAE-LSTM异常检测系统，可以准确地识别时间序列中的异常效果。其次，我们展示了结合VAE模块的分类器可以给出更好的校准预测。这是因为VAEs能够在后验分布的扩散中表达相似数据样本之间的不确定性，以及识别出分布样本的能力。