【CMU博士论文】经典方法对现代机器学习的改进

在过去的十年里，经典机器学习与现代机器学习之间的差距不断扩大。现代学习的预测性能不可比拟地更好，但更容易对经典学习进行分析，并保证其安全性、效率、公平性等特性。在本论文中，我探讨了通过审慎和战略性地结合经典技术，是否有可能将这些期望的特性恢复到现代机器学习中。我将经典与现代学习的结合归纳为两种高级策略：（1）封装，即通过经典分析技术从现代的、不透明的模型中提取可靠的性能保证，或（2）替换，即从经典的基础构建现代模型的某些组件，以提高整体的效率、可处理性和/或表达能力。这些努力在机器学习的多个领域带来了新的进展。本论文的最重要贡献涉及元分析，这是一种结构化的问答形式，作为循证医学的基础。经典元分析技术基于随机对照试验，其因果效度受到信任；相比之下，现代回归模型是在大型观察性数据库上训练的，其因果效度不被信任。我展示了如何在不牺牲效度的情况下将不可信的数据纳入元分析中。这涉及对完全共形预测的基本改进，这些改进具有普遍的意义。在一个更聚焦的医疗保健应用中，我推广了经典的、手工设计的心率变异性统计，使其能够通过监督学习进行微调，成为深度神经网络的一部分，从而生成更准确的、生理学知情的模型。我还提出了一些可以在未来机器学习模型和算法中使用的基础计算原语。第一个是一种算法，可以在O(log T)的并行时间内（近似）运行T步非线性RNN。该算法的关键创新在于通过一种证明一致的局部、可并行修正方案，用深度上的非线性替代时间上的非线性。通过这种方式，经典线性动态系统（也称为状态空间模型）可以堆叠起来形成快速的非线性序列模型。另一个新的计算原语是在所有正交多项式序列集合上进行基于梯度的优化。这种优化形式与信号处理和优化中的许多不同问题都有联系。最后，我提出了基于学习理论和优化中广泛使用的几何边界概念的公平性标准，以规避计算的不可处理性。