【课程】普林斯顿大学19年春季学期《机器学习优化》课程讲义

普林斯顿大学在19年春季学期,开设了COS 598D《机器学习优化》课程，课程主要介绍机器学习中出现的优化问题，以及解决这些问题的有效算法。前不久，课程教授Elad Hazan将其精心准备的课程讲义开放了出来，讲义内容详实循序渐进，非常适合想要入门机器学习的同学阅读。

COS 598D：Optimization for Machine Learning（机器学习优化）是普林斯顿大学在19年春季学期开设的课程。课程主要介绍机器学习中出现的优化问题，以及解决这些问题的有效算法。

课程内容涵盖：

• Introduction to convex analysis
• first-order methods, convergence analysis
• generalization and regret minimization
• regularization
• gradient descent++:
  • acceleration
  • variance reduction
  • adaptive preconditioning
• 2nd order methods in linear time
• projection-free methods and the Frank-Wolfe algorithm
• zero-order optimization, convex bandit optimization
• optimization for deep learning: large scale non-convex optimization