【ETH博士论文】基于离散优化的学习，193页pdf

机器学习和离散优化是计算机科学的两大支柱，也是广泛用于商业、科学和技术领域的分析、预测和决策的工具。然而，机器学习和离散优化方法发展的前提在根本上有所不同。学习依赖于数据，并且通常很少或根本不需要人工设计。其优点在于普适性和几乎全面的适用性，但许多模型无法有效地整合领域知识或特定约束，缺乏可解释性，且其预测存在不确定性，这在实践中阻碍了其应用。相反，离散优化的算法通常针对特定应用进行定制，如组合问题。他们精确的形式化提供了洞察和分析，而且他们的输出通常带有性能保证。然而，与机器学习不同，离散优化的方法在实例之间不能泛化，这在实际应用中是一个不足。

https://www.research-collection.ethz.ch/handle/20.500.11850/629004 鉴于机器学习和离散优化的互补优缺点，很自然地会问到这两个领域的方法在多大程度上可以有益地结合起来。这是我们在这篇论文中提出的问题，并通过展示用于和用于离散优化的学习方法来肯定地回答这个问题。

在用于离散优化的学习中，我们关注的是涉及离散变量的非监督学习模型的梯度估计。这些模型广泛存在，并在正则化、可解释性、模型设计和算法集成方面提供了好处。我们依赖离散优化的高效方法来通过松弛设计这些模型的新梯度估计器，并通过实验证明它们使学习更加高效、有用和高效。

在用于学习的离散优化中，我们专注于使用机器学习提高整数规划的分支和界求解器的性能。我们用针对特定应用的学习模型替换这些求解器中用于切割平面选择和潜水的现有子程序。我们的方法借鉴了模仿学习和生成建模的思想，具有可扩展性和有效性。在一系列实验中，我们的模型超过了现有的启发式方法以及竞争的机器学习方法，以促进求解器性能的整体改进。