【干货书】机器学习优化，509页pdf

优化和机器学习的相互作用是现代计算科学最重要的发展之一。优化的公式和方法在设计从大量数据中提取基本知识的算法方面被证明是至关重要的。然而，机器学习并不仅仅是优化技术的消费者，而是一个快速发展的领域，它本身也在产生新的优化思想。这本书以一种对两个领域的研究人员都可访问的方式捕获了优化和机器学习之间交互的艺术的状态。

优化方法因其广泛的适用性和吸引人的理论特性而在机器学习中占有重要地位。当今机器学习模型的复杂性、规模和多样性日益增加，需要对现有假设进行重新评估。这本书开始了重新评估的过程。它描述了在诸如一阶方法，随机近似，凸松弛，内点方法，和近端方法等已建立的框架。它还专门关注一些新的主题，如正则化优化、鲁棒优化、梯度和次梯度方法、分裂技术和二阶方法。其中许多技术的灵感来自其他领域，包括运筹学、理论计算机科学和优化子领域。这本书将丰富机器学习社区和这些其他领域以及更广泛的优化社区之间正在进行的交叉发展。