【干货书】机器学习的一阶和随机优化方法，591页pdf阐述机器学习算法基础概念和近期进展

蓝光辉教授的专著系统地介绍了机器学习算法基础概念和近期进展，尤其是基于优化方法的算法。 机器学习算法领域近期出现了大量研发进展，但目前社区尚缺乏对机器学习算法基础概念和近期进展的系统性介绍，尤其是基于随机优化方法、随机算法、非凸优化、分布式与在线学习，以及无投影方法的机器学习算法。

佐治亚理工终身教授蓝光辉出版的一本关于机器学习算法的专著《First-order and Stochastic Optimization Methods for Machine Learning》。

这本专著具备以下特点：

• 覆盖从基础构造块到精心设计的复杂算法等详实内容；
• 用教程的形式介绍了机器学习算法领域的近期进展；
• 面向机器学习、人工智能和数学规划社区的广大研究人员；
• 每一章节后都附有练习。

系统梳理优化算法的进展

在该书序言部分，蓝光辉教授介绍了写作此书的初衷：

优化在数据科学中一直发挥重要作用。很多统计和机器学习模型的分析与解决方法都依赖于优化。但是，近期社区对计算数据分析优化的兴趣往往伴随着一些难题。高维度、大型数据规模、内在不确定性、无法避免的非凸问题，以及实时和分布式设置的要求，给现有的优化方法带来了大量困难。 在过去十年中，为解决以上挑战，优化算法在设计和分析方面出现了巨大进步。然而，这些进步分散在多个不同学科的大量文献中，缺乏系统性的梳理。而这使得年轻研究人员更难进入优化算法领域，更难构建必要的基础知识、了解目前的前沿成果，以及推动该领域的发展。 这本书尝试用更有条理的方式介绍领域进展，主要聚焦于已得到广泛应用或具备大规模机器学习和数据分析应用潜力的优化算法，包括一阶方法、随机优化方法、随机和分布式方法、非凸随机优化方法、无投影方法，以及算子滑动和分散式方法。 本书的写作目标是介绍基础算法机制，它们能在不同环境设置下提供最优性能保障。不过在探讨算法之前，本书首先简要介绍了多个常见的机器学习模型和一些重要的优化理论，希望借此为初学者提供良好的理论基础。

此外，蓝教授表示这本书的目标读者是对优化算法及其在机器学习和人工智能中的应用感兴趣的研究生和高年级本科生，也可以作为更高阶研究人员的参考书目。这本书的最初版本已经作为佐治亚理工学院高年级本科生和博士课程的教材。

核心内容

这本书共包括八个章节，涵盖机器学习模型、凸优化、非凸优化、无投影方法等内容，是对优化算法近期进展的一次系统性梳理。

书籍链接：https://www.springer.com/gp/book/9783030395674

作者简介

本书作者蓝光辉教授，博士毕业于佐治亚理工学院，目前任教于佐治亚理工 H. Milton Stewart 工业和系统工程学院。此外，他还担任《Computational Optimization and Applications》、优化算法顶级期刊《Mathematical Programming》和《SIAM Journal on Optimization》等杂志的副主编，是国际机器学习和深度学习算法方向的顶级专家。

蓝光辉教授专注于计算机科学领域的基础研究，他的研究方向包括：随机优化和非线性规划的理论、算法和应用，包括随机梯度下降和加速随机梯度下降，以及用于解决随机凸和非凸优化问题。