《基于微分优化的机器学习建模》CMU 156页博士论文

特定领域的建模先验和专门组件对机器学习领域越来越重要。这些组件将我们作为人类的专业知识整合到模型中。我们在这篇论文中认为，优化方法提供了一套具有表现力的操作，应该成为机器学习从业者建模工具箱的一部分。

我们提出了两种基于优化的建模的基础方法。1）OptNet架构，该架构将优化问题整合为更大的端到端可训练深度网络中的各个层，以及2）输入凸神经网络（ICNN）架构，该架构有助于使基于能量的深度模型和结构化预测中的推理和学习变得更有吸引力。

然后，我们展示了如何使用OptNet方法：1）作为一种结合无模型和基于模型的强化学习的方式；2）用于top-k学习问题。最后，我们展示了如何区分锥体程序，并将cvxpy领域的特定语言转化为可区分的优化层，使本论文中的方法能够快速建立原型。

本论文文件的源代码以开放源码的形式在以下网站提供：

https://github.com/bamos/thesis