「数据数学:从理论到计算」EPFL硬核课程

凸优化提供了一个统一的框架，以获得数据分析问题的数值解决方案，并在充分理解的计算成本下，以可证明的统计保证正确性。

为此，本课程回顾了大数据之后在凸优化和统计分析方面的最新进展。我们提供了新兴的凸数据模型及其统计保证的概述，描述了可扩展的数值求解技术，如随机，一阶和原对偶方法。在整个课程中，我们将数学概念运用到大规模的应用中，包括机器学习、信号处理和统计。

在整个课程中，我们将数学概念运用到大规模的应用中，包括机器学习、信号处理和统计。

https://www.epfl.ch/labs/lions/teaching/ee-556-mathematics-of-data-from-theory-to-computation/

本课程包括以下主题

第一讲:绪论。模型和数据的作用。最大似然公式。估计和预测的样本复杂度界限。

第二讲:计算的作用。优化算法的挑战。最优测度。结构优化。梯度下降法。梯度下降的收敛速度。

第三讲:收敛速度的最优性。加速梯度下降法。全部复杂性的概念。随机梯度下降法。

第四讲:简洁的信号模型。压缩传感。估计和预测的样本复杂度界限。非光滑优化对优化算法的挑战。

第五讲:近端算子介绍。近端梯度方法。线性最小化神谕。约束优化的条件梯度法。

第六讲:时间-数据的权衡。方差减少以改进权衡。

第七讲:深度学习的数学介绍。双下降曲线和过度参数化。隐式规则化。

第八讲:非凸优化中的结构。最优的措施。逃避鞍点。自适应梯度方法。

第九讲:对抗性机器学习和生成式对抗性网络(GANs)。Wasserstein GAN。极大极小优化的难点。

第十讲: 原对偶优化- i:极大极小问题的基础。梯度下降-上升法的陷阱。

第十一讲: 原对偶优化- ii:额外梯度法。Chambolle-Pock算法。随机非方法。

第十二讲:原对偶III:拉格朗日梯度法。拉格朗日条件梯度法。