【MIT博士论文】优化与现代机器学习的融合：理论、计算与医疗应用

优化和机器学习是当今决策领域的两个主要领域。近年来，数据的日益丰富促进了这两个领域交叉点的进展，从而催生了更好的决策支持工具。优化通过改进传统机器学习模型的训练方法显著提升了这些模型的性能，而机器学习则通过准确的预测能力改进了许多优化算法，从而实现了更优的决策。

然而，将优化理论与现代机器学习方法（如神经网络和核函数）相结合面临两大主要挑战。首先，这些模型不满足优化理论中的基本凸性假设。其次，这些模型主要用于具有大量参数和高维数据的任务，因此需要高度高效且可扩展的算法。这种对效率的关注限制了对离散变量和优化中典型的一般约束的考虑。本论文介绍了应对这些挑战的新算法。

本文分为四章，涵盖严格的理论、计算工具和多样化的应用。在第一章中，我们将稳健优化的最新工具扩展到非凸和非凹的环境中，从而使得生成对输入扰动具有鲁棒性的神经网络成为可能。在第二章中，我们开发了一个整体的深度学习框架，通过适当修改损失函数，共同优化神经网络的鲁棒性、稳定性和稀疏性。在第三章中，我们介绍了TabText，这是一种灵活的方法论，它利用大语言模型的力量从表格数据中预测患者流动。最后，在第四章中，我们提出了一种基于数据驱动的方法，通过稀疏化核方法解决多阶段随机优化问题。