【CMU博士论文】高效且可扩展的表示学习,152页pdf

现如今，从日益增长的数据中提取有用的信息以作出知情决策变得越来越具有挑战性。尽管深度学习在最近有所进步，但如何有效且可扩展地利用如此庞大的数据去处理各种任务的问题尚未解决。为了解决从数据中进行表示学习的两个主要方面，即效率和可扩展性，这篇论文介绍了处理各种任务的技术，包括情感分析，手写识别和文档智能，这些任务的数据形式各不相同：包括文本，音频和视频的多模态数据，噪声扫描手写图像，或者布局不同的长文档。由于各自数据的可获得性和可能存在的问题，以及相关任务的明确目标，没有一种通用的解决方案，而是对每个问题都有特定的方法。另外，为了处理大规模数据，本论文还介绍了一些近似技术和分析方法，用于估计基本组件，学习有效的表示，并加速学习过程，包括使用并行非自适应方法进行矩阵迹近似，高斯过程训练中的谱近似，以及用于大规模多任务神经机器翻译模型的基于任务的专家混合模型。在这些工作中，这篇论文介绍了应对数据和任务中出现的问题，学习有效表示，以及为实际可扩展性近似模型的新颖方法。