我们写这本书是为了分享一个优雅的视角,它为一阶凸优化方法提供了强大的更高层次的见解。一阶凸优化方法更有效地解决大规模优化问题的研究始于20世纪60年代和70年代,但当时该领域的重点是二阶方法,后者更有效地解决较小的问题。21世纪初,随着计算能力的提高和大数据的可用性,一阶优化方法成为主流。在这个现代时代,作者进入优化领域,发现(但没有发明)上述观点,我们希望通过本书分享它。
https://large-scale-book.mathopt.com/
我们的目标是通过单调算子的抽象对凸优化算法进行统一的分析。
这本书是为数学家和工程师准备的。我们通过展示抽象是优雅的,并且在某些方面具有挑战性(有趣)来吸引数学家。我们呼吁工程师,用户的优化,与简单的技术和算法的多样性。在一些例子中,我们遇到过只知道梯度下降和ADMM的工程师,它们虽然很强大,但并不是普遍可行或最佳的选择。这本书使读者能够选择甚至设计最适合任何给定问题的分割方法。对读者的背景要求是对高级微积分、线性代数、基本概率以及凸分析的基本概念有良好的了解,这些知识涉及到Boyd和Vandenberghe的凸优化的第2章到第5章的凸集、凸函数、凸优化问题和凸对偶。(数学)分析和测量理论的概率论背景是有帮助的,但不是必要的。非正式地,这本书预设了对凸优化的兴趣,并欣赏它作为一个有用的工具。为了使讨论简明扼要,我们将重点放在优化算法上,而不是讨论算法解决的优化问题的工程和科学起源。
Announcement
Introduction and Preliminaries
Monotone operators and base splitting schemes
Set-valued operators
Monotone operators
Nonexpansive and averaged operators, Fixed-point iteration
Resolvent
Proximal point method, Operator splitting
Variable metric methods
Primal-dual methods
Infimal postcomposition technique
Dualization technique
Variable metric technique
Gaussian Elimination Technique
Linearization technique
Parallel computing
Stochastic coordinate update methods
Asynchronous coordinate update methods
Stochastic optimization
ADMM-type methods
FLiP-ADMM
Derived ADMM-type methods
Duality in splitting methods
Maximality and monotone operator theory
Distributed and decentralized optimization
Acceleration
Scaled relative graphs
专知便捷查看
便捷下载,请关注专知公众号(点击上方蓝色专知关注)
后台回复“L348” 就可以获取《干货书!基于单调算子的大规模凸优化,348页pdf》专知下载链接