https://www.nowpublishers.com/article/BookDetails/9781638280521
本书介绍了凸优化,这是一个可以在计算机上高效解决的强大且易于处理的优化问题。本书的目标是帮助读者理解什么是凸优化,以及如何将其应用于更广泛的实际场景,特别是机器学习。
本书的第一部分涵盖了凸集、凸函数的核心概念,以及用于理解凸优化及其相应模型的相关基本定义。第二部分讨论一个非常有用的理论,称为对偶性,它使我们能够:(1)获得算法的见解;(2)获得了通常难以求解的非凸优化问题的近似解。最后一部分关注机器学习和深度学习的现代应用。
本书的一个定义性特征是,它通过历史例子和机器学习应用的趋势,简洁地联系了凸优化如何发挥作用的“故事”。另一个关键特性是,它包括受优化原理启发的各种机器学习算法的编程实现,以及使用的编程工具的简要教程。该实现基于Python、CVXPY和TensorFlow。
这本书没有遵循传统的教科书式的组织方式,而是通过一系列密切相关的讲座笔记进行精简,围绕连贯的主题和概念。本教材主要适用于本科高年级课程,也适用于研究生一年级课程。如果读者有良好的线性代数背景,对概率有一定的了解,并对Python有基本的了解,将受益匪浅。
Changho Suh (2022), "Convex Optimization for Machine Learning", Boston-Delft: now publishers, http://dx.doi.org/10.1561/9781638280538
内容结构: * 凸优化基础(14节和4个问题集):凸优化简史;凸集、凸函数的基本概念及凸优化的定义梯度下降法;线性规划(LP), LP松弛,最小二乘,二次规划,二阶锥规划,半正定规划(SDP)和SDP松弛;CVXPY实现。 * 对偶性(7节和3个问题集):拉格朗日函数、对偶函数和对偶问题;强对偶性、KKT条件和内点法弱对偶性和拉格朗日松弛。 * 机器学习应用(14节和4个问题集):监督学习和优化在逻辑回归和深度学习中的作用;反向传播算法及其Python实现;无监督学习,生成对抗网络(GANs), Wasserstein GAN,以及LP和对偶理论的作用;公平机器学习以及正则化技术和KKT条件的作用;TensorFlow实现的深度学习分类器,GANs, Wasserstein GAN和公平的机器学习算法。