今晚20点大讲堂 | 利用Features Replay实现深度神经网络训练模块间的并行

分享主题

2018 NeurIPS Spotlight 论文解读：

利用Features Replay实现深度神经网络训练模块间的并行

分享背景

反向传播算法是深度学习优化中计算梯度的有效方法。然而随着网络层数逐渐增加，梯度在网络间的序列传播 (backward locking) 成为加速深度学习模型训练的重要瓶颈。本次分享中，讲者将介绍如何利用历史特征信息，实现深度网络模块间的并行计算。

分享嘉宾

霍周元，匹兹堡大学在读博士，京东数字科技实习生，主要研究方向为分布式机器学习，随机优化。其研究工作曾在ICML, NeurIPS, KDD, AAAI, IJCAI等发表。

分享提纲

• 1、反向传播与backward locking

• 2、相关算法简介

• 3、Features Replay并行深度学习

分享时间

（北京时间） 03 月 19 日 （星期二）晚上 20:00

扫码加入小组，直播回放都不错过，还能向讲师提问，与组员交流。

直播链接

http://www.mooc.ai/open/course/646

↘  扫码直达  ↙

点击阅读原文，直达本期大讲堂直播间↙