CSIG-机器学习中的加速一阶优化算法系列讲座第五讲圆满结束

优化算法是机器学习的重要组成部分，但是传统的优化算法并不完全适用于机器学习，因为通常来说机器学习模型的参数维度很高或涉及的样本数巨大，这使得一阶优化算法在机器学习中占据主流地位。

为了在应用中推广加速一阶优化算法，中国图象图形学学会与浙江师范大学数理医学院、浙江师范大学数学与计算机科学学院、西安科技大学数学与统计学院共同主办了“CSIG-机器学习中的加速一阶优化算法系列讲座”，由中国图象图形学学会机器视觉专委会承办，主讲专家为中国图象图形学学会机器视觉专委会主任林宙辰教授。本次系列讲座分为六讲，从2022年6月17号起，每周五晚8-9点举行。

在前四次讲座取得巨大成功后，7月15号晚上8点，林宙辰教授在线上做了本次系列讲座的第五讲——加速一阶随机优化算法，针对最近颇有研究热度的随机优化思想和流行的一阶随机优化算法的加速，分凸优化和非凸优化两种情况进行了详细的讲解。本次讲座十分受关注，讲座直播由腾讯会议和第三方蔻享直播同时进行。

林宙辰教授首先细致介绍了一阶随机优化算法的基本概念和理论，并对凸优化随机加速算法中的两个典型算法：Stochastic Variance Reduced Gradient（SVRG）以及与一阶动量加速融合的Katyusha算法进行了详细解释，并且介绍了用于黑箱加速的随机优化方法Catalyst的算法框架以及Catalyst和SVRG结合时的收敛速度。

然后林宙辰教授介绍了流行的非凸优化随机梯度加速算法SPIDER以及相关收敛性质，并针对求解线性约束优化的交替方向法（ADMM）的随机加速算法进行了详细讲解，包括收敛速度证明中的关键步骤。

最后，林宙辰教授介绍了包含无限项目标函数优化的随机梯度加速算法，讲解了带动量项的随机梯度加速算法的收敛速度证明。

演讲结束后，参加线上讲座的同学和老师踊跃提问，林宙辰教授耐心回答了的每个问题。 整个讲座生动有趣，内容丰富，原定一个小时的讲座时间又延长到将近一个半小时。

图为林宙辰教授专著《机器学习中的加速一阶优化算法》的英文版和中文版，以及刚出版的新书《Alternating Direction Method of Multipliers for Machine Learning》。

本系列讲座线上直播信息为：

• 腾讯会议：
  https://meeting.tencent.com/dm/0hyM7yHN76Bv
  会议ID：721-6788-2449
• 蔻享同步直播：
  https://www.koushare.com/lives/room/095757

最后一次讲座时间为7月22日晚20:00-21:00，敬请期待！

林老师本次讲座视频均已上传B站：

https://www.bilibili.com/medialist/play/397105012?from=space&business=space_series&business_id=2418998&desc=1