本专著介绍了凸优化的主要复杂性定理及其相应的算法。从黑箱优化的基本理论出发,对结构优化和随机优化的最新进展进行了研究。黑盒优化的介绍,受到Nesterov的开创性著作和Nemirovski的课堂讲稿的强烈影响,包括对切割平面方法的分析,以及(加速)梯度下降方案。我们还特别关注非欧几里得设置(相关算法包括Frank-Wolfe、镜像下降和双重平均),并讨论它们在机器学习中的相关性。我们温和地介绍了结构优化与FISTA(优化光滑项和简单非光滑项的求和),鞍点反射法(Nemirovski的替代Nesterov平滑),以及内部点方法的简明描述。在随机优化中,我们讨论了随机梯度下降、小批量、随机坐标下降和次线性算法。我们也简要地接触到组合问题的凸松弛和使用随机的圆解,以及基于随机漫步的方法。
https://www.nowpublishers.com/article/Details/MAL-050
专知便捷查看
便捷下载,请关注专知公众号(点击上方蓝色专知关注)
后台回复“C130” 就可以获取《【经典书】凸优化:算法与复杂度,130页pdf》专知下载链接