优化技术是数据科学的核心，包括数据分析和机器学习。对基本优化技术及其基本特性的理解为这些领域的学生、研究人员和从业人员提供了重要的基础。本文以紧凑、独立的方式涵盖了优化算法的基本原理，重点关注与数据科学最相关的技术。其中一章介绍了数据科学中的许多标准问题都可以表述为优化问题。其次，对优化中的许多基本方法进行了描述和分析，包括:光滑(特别是凸)函数的无约束优化的梯度法和加速梯度法;随机梯度法，机器学习中的主要算法;坐标下降法;求解约束优化问题的若干关键算法数据科学中最小化非光滑函数的算法非光滑函数分析的基础与优化对偶以及与神经网络相关的反向传播方法。 本书探讨了非线性优化的理论和算法，特别关注机器学习和数据分析中出现的问题。本文平衡了最坏情况分析与实施问题，旨在强调为优化实践提供合理指导的核心理论工具。
这本书涵盖了适合计算机科学、工业工程、电气工程和相关领域的研究生的四分之一长度的优化课程的材料。 https://people.eecs.berkeley.edu/~brecht/opt4ml_book/ 目录内容： 1. Introduction 1. Foundations 1. Elementary Descent Methods 1. Gradient Methods Using Momentum 1. Stochastic Gradient Methods 1. Coordinate Descent Methods 1. First-Order Methods for Constrained Optimization 1. Nonsmooth Functions and Subgradients 1. Nonsmooth Optimization Methods
Bibliography (still in progress)
Chapter 1 Introduction
Chapter 2 Foundations
Chapter 3 Elementary Descent Methods
Chapter 4 Gradient Methods Using Momentum
Chapter 5 Stochastic Gradient Methods
Chapter 6 Coordinate Descent Methods
Chapter 7 First-Order Methods for Constrained Optimization
Chapter 8 Nonsmooth Functions and Subgradients
Chapter 9 Nonsmooth Optimization Methods
相关内容
微信扫码咨询专知VIP会员