【MIT博士论文】非参数高维模型：稀疏性、效率、可解释性，296页pdf

本论文探讨了机器学习中的集成方法，这是一种通过联合训练较简单的基模型来构建预测模型的技术。本文考察了三种类型的集成方法：加性模型、树集成模型和专家混合模型。每种集成方法都有特定的结构：加性模型可以涉及具有单变量或双变量的基学习器，树集成模型使用决策树作为基学习器，而专家混合模型通常采用神经网络。本文的重点是考虑这些方法中的各种稀疏性和结构约束，并开发基于优化的方法，以提高训练效率、推理能力和/或可解释性。 在第一部分中，我们研究了在组件选择约束和额外的结构约束（例如层级交互）下的加性模型与交互。我们提出了不同的基于优化的公式，并提出了高效的算法来学习一个良好的组件子集。我们开发了两个工具包，能够扩展到大样本量和大量双变量交互的数据集。 在第二部分中，我们研究了树集成学习。在这种情况下，我们提出了一种灵活且高效的可微分树集成学习公式。我们研究了灵活的损失函数、多任务学习等内容。我们还研究了树集成中的端到端特征选择，即在训练树集成的同时进行特征选择。这与流行的树集成学习工具包形成对比，后者通常基于特征重要性在训练后进行特征选择。我们的工具包在满足特定特征预算的前提下，提供了显著的预测性能提升。 在第三部分中，我们研究了专家混合模型中的稀疏门控。稀疏专家混合模型是一种范式，其中为每个输入样本激活一部分专家（通常是神经网络）。这种方法用于扩展大规模视觉和语言模型的训练和推理。我们探索了多种改进专家混合模型中稀疏门控的方法。我们的新方法在机器翻译的大规模实验以及预训练模型在自然语言处理任务中的蒸馏方面显示出改进。